Ritkán esik szó arról nyilvánosan, hogy mi történik egy sikeres zsarolóvírus-támadás esetén. A ransomware veszélye valós és komoly: de fontos lenne azt is tudni, hogy egy ilyen esemény során sincs minden veszve. Igaz, ehhez professzionális segítség szükséges…
Éppen ezért értékelendő, hogy Czinszky Péter, a CHS Hungary Kft. Hewlett Packard Enterprise csoportvezetője őszintén beszél 2023 februárjának első napjairól: arról a három napról, amikor a céget sikeres zsarolóvírus-támadás érte. Története egyben arról is beszél: még a legsötétebb órákban is jöhet mentősereg. Igaz, a hófehér lovak és a fényes páncélzat helyett szaktudással felvértezve érkezett a mentőcsapat: az EURO ONE Számítástechnikai Zrt. mérnökei. De adjuk is át a szót Czinszky Péternek, aki az események kellős közepéről kísérte végig ennek a bizonyos három napnak minden egyes pillanatát.
Február elseje: a támadás napja
Egy hosszú hétvége, síeléssel: a kellemes fáradtságot egy pillanat alatt söpörte félre a szerda reggel, a munkahelyem felé tartva kapott, rövid SMS. „Ha beérsz, ne kapcsold be a notebookodat.” Ekkor még nem tudtam, hogy ransomware-támadás ért minket – de természetesen azonnal elkezdtem azon gondolkozni, miért írhatta. Fel is hívtam a kollégám: kiderült, ő már észrevette, hogy letitkosították a fájljait, így kellő bizonyossággal és magyarsággal közölte: „bekaptuk”. Elért minket is az az IT „betegség” amin vagy átestél már, vagy át fogsz. Minket ezen a napon ért el a végzet.
Beérkezésem után a tanácstalanul mászkáló kollégák arcát látva hamar megértettem, hogy nem mindenki érti, mi is történt. A cégen belül eluralkodott a pánik, hiszen mindenki azon aggódott, hogy mi lesz, mi fog most történni? Mindenki azt várta, hogy „majd az IT megoldja”. Teltek-múltak az órák és nem kaptunk új híreket. Mi, akik az informatikai rendszerekkel dolgozunk, pontosan tudtuk, hogy nagy a baj, de sokan reménykedtek abban, hogy szerdán még tudják majd folytatni a munkát. Néhány óra eltelte után hazaküldtek mindenkit, és abban maradtunk, hogy további értesítésig mindenki maradjon is otthon.
Február másodika: harc az életben maradásért
Csütörtök reggelre már tisztább lett a kép: összetett, jól szervezett és összehangoltan végrehajtott támadás áldozatai lettünk. Profi munka volt – amennyire egy ilyen támadást lehet annak nevezni. Látszólag mindent titkosítottak, így kizártak minket a saját rendszereinkből. Az utolsó lehetőségként a mentésből visszaállás maradt. A megfelelő szakértelem nélkül viszont saját informatikai csapatunk nem mert hozzányúlni a megfertőzött saját rendszereinkhez és a mentett állományhoz.
A Hewlett Packard Enterprise által szállított szerverekkel foglalkozom a cégnél közel 17 éve, a szervertermünk is HPE szerverekkel és mentéssel van feltöltve. Így nem meglepő, hogy a rendszergazdáink, akik egész éjjel próbálták visszaállítani a rendszert, csütörtök reggel engem hívtak fel. Fel kellene venni a kapcsolatot a Hewlett Packard Enterprise mérnökökkel, akik az alig két éve beállított dHCI szervereket, a HPE Nimble-t, a StoreOnce-t és az MSL2024-es szalagos mentést telepítették, hangzott a kérés.
Természetesen felvettem a kapcsolatot a HPE-vel és elkezdtünk azon dolgozni, hogy miképp tudnánk minél hamarabb olyan szakértőket szerezni, akik itt, a helyszínen tudnának segítséget nyújtani. Megjártuk – virtuálisan – az Egyesült Államokat, majd Németországot. A HPE Zerto-s csapatai készek voltak távolból segíteni, de ez számunkra az adott körülmények között nem volt megfelelő. Ekkor segített Végvári Ferenc, a HPE az értékesítési csatornákért és partnerekért felelős vezetője: ő éppen az EURO ONE egyik kollégájával találkozott és kiderült, nekik van ransomware-támadásokra szakosodott csapatuk – és tudnak segíteni!
Február harmadika: NYERTÜNK!
A cég nem volt ismeretlen számunkra sem, hiszen több mint egy évtizedre visszanyúló, jó kapcsolatunk van velük és rendszeresen dolgozunk együtt. Most is nagyon gyorsan reagáltak, így néhány órával később már Budaörsön, a tett helyszínén voltak. Az akciófilmekben megszokott nagy robbanások és a füstfelhőn átsétáló főhősök ugyan elmaradtak, de én azért nagyon örültem annak, hogy igazi „feketeöves” mérnökcsapat érkezett. Nemcsák Gábor rendszermérnök, Kiss Mihály vezető rendszermérnök (Adatközponti megoldások üzletág) és Sóti András incident response koordinátor (InfoSec üzletág) azonnal tudták, mi a dolguk. Nekünk csak a szervertermet kellett megmutatnunk, s pillanatokon belül mindannyian belevetették magukat a mentőakcióba.
De lássuk, hogyan látta a feladatot Nemcsák Gábor? „A helyszínre érkezve először a mentő szervert vettük szemügyre. Ezt egy HPE ML350 G9-es hardver szolgálta ki, elkülönítve a mentendő infrastruktúrától. A mentésért a Veeam BackUp&Replication megoldása felelt lokális diszk mentéssel és kiegészítve ezt egy másodlagos StoreOnce deduplikációs appliance-el, amelyre tükrözték a mentési állományokat. Az archiválást egy MSL2024 szalagtárolóval oldották meg.
A szerverre belépve rögtön láttuk, hogy a teljes mentőszerver titkosítva van, így a lokális és a StoreOnce-on tárolt állományok használhatatlanok. Az egyetlen lehetőségnek a szalagos mentés maradt. Ezt egy frissen telepített Veeam mentő szerverre csatlakoztatva ellenőriztünk, de az adatokat őrző szalagokat is letörölték, mert benne maradtak a drive-ban. Így mentésből nem tudtunk visszaállítani semmilyen adatot.
A virtuális és fizikai infrastruktúrát ellenőrizve szintén láttuk, hogy minden titkosítás áldozata lett: nem csak a szerverek fájljai, hanem a datastore-okon tárolt virtuális gépek, vmdk diszkjei is. A fizikai kiszolgálókhoz nem volt könnyű hozzáférni, mivel az iLO-k gyári adminisztrátor jelszavait is megváltoztatták. Ezért minden esetben ezeknek a visszaállítása jelentette az első feladatot.
A szerverek után a storage egy HPE Nimble HF40 tároló irányába indultunk el. A storage jelszavának sikeres visszaállítása után azt láttuk, hogy a kiosztott volume-ok felcsatolva szintén titkosítottak, azonban kizárólag a Nimble által használt napi időzített storage snapshot-ok viszont elérhetőek maradtak a rendszerben.”
Teltek az órák, és egyre több felismeréssel gazdagodtunk arról, hogy mikre nem figyeltünk eléggé az üzemeltetés oldalán, vette vissza a szót Czinszky Péter. A szalagos mentés törlése miatt már szerveztem az esetleges adatvisszaállításhoz szükséges, másnap reggelre ütemezett találkozót, amikor a minket segítő mérnökcsapat megtalálta a Nimble snapshotjait – és ezek a teljes mentésünket tartalmazták, egészen január 31-ig! Ekkor már átléptünk péntekre, hiszen hajnali 1 órakor kaptuk a csodálatos hírt.
A storage snapshotok-at egy újratelepített, izolált ESXi hosztra egyesével csatoltuk fel és ellenőriztük, hogy van-e rajta használható adat. Sosem fogom elfelejteni, ahogy Gáborék felkiáltanak: MEGVAN!
„Az időzített napi snapshotoknak hála a szerverekkel vissza tudtuk állni egy működő állapotra. Az első alkalommal biztosra mentünk és január 15-re álltunk vissza. A siker láttán vérszemet kaptunk és egyesével haladtunk előre, míg el nem jutottunk a január 31-ei 23:59-es állapothoz. Itt már az SQL szerveren láthatóak voltak a ransomware számára előkészített felhasználók. A snapshotból végül semmilyen szervert nem állítottunk vissza, csak az adatbázisokat dumpoltuk ki, és szöveges állományokat másoltunk át az izolált környezeten keresztül, USB drive-on az újratelepített környezetre.”
Nehéz lenne az érzéseinket leírni: az ember nem tudja, hogy örömében sírjon vagy nevessen. Ráz a hideg, a mentőcsapat nyakába ugrana – de mégis, profik vagyunk és alig fél napja ismerjük egymást. Párás szemmel írtam meg a kollegáknak és a tulajdonosoknak küldött kör SMS-t: NYERTÜNK!
Ezután már csak idő kérdése volt, hogy rátaláljanak a legutolsó, nem korrupt mentésre. Kicsivel több, mint másfél óra múlva kiderült, hogy a január 30-ai snapshot alkalmas a visszaállításra. Ekkor, hajnali három óra előtt néhány perccel már nagyon fáradt volt mindenki, ezért úgy döntöttünk, hogy reggel folytatjuk – de már a megnyugtató hírekkel a hátunk mögött. A néhány óra pihenéssel felfrissült csapat reggel azt is felfedezte, hogy a január 31-i mentésünk is hibátlan, visszaállításra kész.
Elmondhatjuk magunkról, hogy sikeres ransomware-támadás ért minket, és ezt adatvesztés nélkül, három munkanapon belül éltük túl és álltunk talpra, köszönhetően az EURO ONE profi csapatának. Ilyenről itthon, de még talán nemzetközi szinten sem hallottunk még.
Természetesen nem maradhat el a tanulságok levonása sem.
– Mindig legyen egy katasztrófaelhárítási terv, ne egy támadás kellős közepén kelljen kitalálni, ki mit csinál.
– Mindig legyen egy megfelelően szigorú password management a cégnél.
– Tartsuk mindig naprakészen az infrastruktúrát, a sérülékenységek „befoltozásával”.
– A mentőegységből mindenki vegye ki a szalagot.
– De a legfontosabb: a HPE Nimble bevezetése, hiszen a napi snapshotok megmenthetik a cégeteket!
Ezt mi is meg tudjuk mutatni, így akit a fent említett HPE Nimble (Alletra), vagy bármely további HPE-termék és stratégiai partnereinek megoldása érdekel működés közben, várjuk a CHS budaörsi kompetenciaközpontjában, ahol HPE GreenLake konstrukcióban egy komplett adatközponti megoldás üzemel. A történetünk hosszabb, vágatlan verzióját pedig szívesen elmesélem szóban – hátha találunk olyat, amire nem gondoltatok, de mi átéltük, tette hozzá Czinszky Péter.
Ezúton szeretnénk megköszönni a Kancellár.hu-nak és a White Hat-nek is, akik szintén részt vettek a helyreállásunkban, és a kollégáimnak, akik felnőttek a feladathoz, és profin, fegyelmezetten kezelték a helyzetet. Köszönjük!
