Blackout na univerzitě, kdo a jak ho řeší?

Tajemný svět, který zná málokdo na TUL. Černá skříň je záložní systém/UPS, žluté jsou baterie k UPS a šedá skříň je rozvaděč. Foto: Jan Rous, pátek 4. července

Páteční celorepublikový blackout prověřil, že na TULce jsme na výpadky proudu dobře připraveni a především to, že tu máme lidi, kteří jdou domů, až když vše zase běží. Přečtěte si, jak to v pátek 4. července pobíhalo z pohledu Oddělení informačních systémů TUL (OIS). Na povrchu klid, většina z nás nemohla pracovat, ale pod povrchem to vřelo a usilovně se pracovalo.

„Po výpadku technologií se nejprve zjišťuje, jestli se nejedná o kyberbezpečnostní incident a není potřeba ho řešit v součinnosti s Národním úřadem pro kybernetickou a informační bezpečnost. Energetici z univerzity a lidé z oddělení informačních systémů (OIS) však velmi brzy rozklíčovali, že výpadek není lokálního charakteru a že se jedná o problém s energetickou dodávkou a další kroky se tedy vydaly po této stopě,“ říká manažer kyberbezpečnosti TUL František Tomeš.

První kroky energetiků a týmu z OIS pak vedou do nově vybudovaného datacentra v budově G, kde jsou všechny důležité servery a virtualizační infrastruktura s většinou TUL serverů. Je tam 150kW záložní zdroj (UPS) a 300KVA diesel generátor.

„Po výpadku jdeme okamžitě kontrolovat, zda generátor naskočil, pokud ano, kontrolujeme pro jistotu stav nafty. Ve chvíli, kdy se zdálo, že výpadek bude delší, jsme objednali dovoz dalších 100 litrů nafty od technického úseku, čímž jsme dobu zálohy dostali asi na 20 hodin. K tomu prodloužení zálohy nás vedl nedávný výpadek ve Španělsku, kdy jim obnova trvala dva dny,“ říká Jan Rous, vedoucí OIS.

Dodává, že výpadek proudu na budově G testují pravidelně, vždy první čtvrtek v měsíci. V červenci to vyšlo zrovna na den, který předcházel pátečnímu celorepublikovému výpadku proudu. Test dopadl výborně, což zmírnilo při skutečném výpadku obavy z komplikací.

„Bohužel zálohovat instalované technologie nevydržel záložní zdroj na budově H, kde je uzel Cesnetu, který zajišťuje konektivitu jak pro TUL, tak pro další liberecké instituce. Bylo to těsně. UPS spadla jen asi dvě minuty před obnovením dodávek proudu. Veškeré informační systémy jako Stag a Vema tedy díky generátoru na budově G zůstaly v provozu, ale konektivita nebyla cca po dvě hodiny dostupná. Kolegové Adamec s Kmochem tam ihned vyrazili řešit obnovu provozu a spuštění technologie. Domů šli až večer, když bylo vše hotovo,“ dodává Rous.

Ostatní budovy jako P nebo T a také budovy kolejí mají vlastní UPS, které udrží systémy v chodu v řádech desítek minut, pak také spadly. S tím se však počítá. V těchto budovách není z pohledu centrálních informačních systémů provozováno nic zásadního a není problém je pak plně uvést do provozu.

Mezitím se řeší drobnosti. Je například potřeba zalarmovat domovníky, aby ručně otevřeli závory a zaměstnankyně a zaměstnanci mohli odjet. Vypínají se technologie, které není nezbytně nutné udržet v provozu během výpadku, a tím se šetří kapacita na záložních zdrojích. Mezitím je potřeba se mezi sebou neustále domlouvat a také se snažit zjistit, jak situace s výpadkem proudu vypadá celorepublikově.

„Za těch spoustu let, co dělám na TULce, jsem takhle dlouhý neplánovaný výpadek proudu ještě nezažil. Byla to naprosto mimořádná situace, která prověřila, že máme systémově věci dobře nastavené, i když prostor pro zlepšení tu vnímám, a také to, že celý tým v krizové situaci umí odvést výbornou práci a má nasazení, protože domů se šlo opravdu, až bylo vše hotovo,“ uzavírá Jan Rous.

A kde je podle Jana Rouse prostor pro zlepšení? Do budoucna je určitě potřeba zavést zálohu na budově F včetně menzy, kde zatím chybí. Také by se v podobných případech hodila jedna zálohovaná linka mezi kampusem a budovou H, kde je uzel Cesnetu, a tedy páteř pro internetové připojení. Pravděpodobně budou posíleny záložní zdroje přístupového a zabezpečovacího systému, aby bylo možné čtečky a elektricky ovládané zámky v budovách používat alespoň dvě hodiny. Vhodné by bylo i nějaké další komunikační zařízení, například vysílačky, kterými by se při delším blackoutu mohli s kolegyněmi a kolegy koordinovat, protože mobilní síť byla v některých místech přetížená a nefunkční.

-pir-
Foto: Jan Rous

Dovětek:

Tento článek budiž alespoň malým poděkováním. Díky nasazení kolegů z OIS, energetiků i technického úseku jsme přišli v pondělí do práce a vše fungovalo. Odborníci se shodnou na tom a podobné příklady z velkých institucí to potvrzují, že pokud by se výpadek proudu a návazně výpadek systémů neřešil neprodleně, byla by velmi pravděpodobně TULka paralyzovaná několik dalších dní, možná až týden.