Vážení klienti, rád bych se Vám touto formou ze srdce omluvil za výpadek našich služeb v minulém týdnu.

Vše začalo 10.3. v ranních hodinách, kdy jsme zjistili nedostupnost všech serverů v komplexu datacentra OVH ve Strasbourgu. V lokaci se nacházejí 4 budovy datacenter OVH (SBG1 - SBG4). Budovu SBG2 schvátil požár, který částečně poškodil i budovu SBG1. Naše dedikované servery se nacházeli v budovách SBG2 (CS7) a SBG3 (CS8, CS9 a CS10 ). Ostatní servery v datacentrech OVH Varšava, OVH Frankfurt, Casablanca Praha byly po celou dobu incidentu funkční.

Na výpadek kteréhokoliv z našich serverů jsme připravení a stále máme rezervní servery, kde můžeme rozjet zálohy kteréhokoliv zasaženého serveru cca do hodiny. Bohužel tyto rezervní stroje byly také v budově SBG3. Okamžitě po uhašení požáru jsme se dozvěděli, že budova SBG3 není požárem poškozena a plánuje se její restart. Vzápětí se ovšem ukázala tato informace jako zavádějící, protože budova byla sice nepoškozena, ale bez proudu. Přívod vysokého napětí do budovy byl také zasažen požárem a OVH nás informovalo, že k obnovení pro nás zásadní části infrastruktury dojde do pátku 19.3. V tom okamžiku jsme začali práce na instalaci úplně nových serverů v jiném datacentru OVH (Limburg) a zároveň migrovali část zakázek na naše servery v pražské Casablance. Jednalo se o takový rozsah, že v podstatě nebylo v našich silách tento proces nějak zásadně urychlit.

Proč OVH?

OVH je největší vlastník datacenter v Evropě. Má celkem 23 datacenter v 19 zemích Evropy a jedná se o jedno z nejmodernějších řešení vůbec. Pro nás skvělý partner již po mnoho let. Jejich schopnost rozjet server takřka na lusknutí prstu kdekoliv v Evropě nám vždy dávala pocit naprostého bezpečí pro nás i naše zákazníky.

"Strategická architektura našich serverů s ohledem na možnou katastrofu nám asi zachránila život. "

Veškeré zálohy se provádějí křížem do úplně jiných lokací a díky tomu nedošlo ke ztrátě dat. Bohužel pro rychlé obnovení zálohy na jiný server je nutné mít server naprosto připravený, naistalovaný, proroutovaný do našeho celého "ekosystému". Takové máme, ale bohužel do dnes bez proudu v SBG3.

Veškeré služby asi 66 zasažených aplikací byly obnovený do pátku 12.3.

O celém incidentu jsme operativně informovali ve článku na našich webových stránkách.

Ještě jednou bych se chtěl omluvit za nedostupnost a především poděkovat za lidský přístup a slova pochopení od většiny zasažených klientů. Budeme věřit, že máme bezesný týden za sebou a podobná událost, která naplno prověřila naše katastrofické scénáře, se nebude opakovat. Naprosto si uvědomujeme i situaci, do které jsme všech 66 aplikací potažmo klientů dostali a věřte, že jsme dělali naprosto vše pro co nejrychlejší obnovu.

Děkuji za pochopení

Adam Švanse, jednatel CS Technologies s.r.o.