Miközben számos hazai cég még igencsak óvatosan ismerkedik a felhővel, a Vodafone hazai leányvállalata a teljes adattárházát és elemzési környezetét a publikus felhőben építette ki. A miértekről és a hogyanokról nyilatkozott az ITBUSINESS-nek Kelemen Bálint informatikai vezérigazgató-helyettes és Szalai Gergely, a vállalat data engineering senior managere, aki a projektért is felelős volt.
– Milyen üzleti és technológiai megfontolások tették szükségessé egy új adat- és analitikai környezet kialakítását a Vodafone számára?
Kelemen Bálint (K. B.): Amikor a Vodafone közelmúltban megvásárolta a UPC-t, nem csak jogilag és szervezetileg kellett egységesíteni a két vállalatot, hanem az informatika szintjén is. A projektnek része volt a központi rendszerek (BSS, OSS) cseréje is, amelyek a termékekkel, számlákkal, ügyfelekkel kapcsolatos tranzakciókat végzik, illetve a hálózatot vezérlik. Ezek révén tudunk jövőálló mobil és vezetékes szolgáltatásokat kínálni ügyfeleinknek. De ha már ezekhez hozzányúltunk, úgy döntöttünk, hogy 19-re lapot húzunk, és az adatelemző rendszereinket is modernizáljuk.
Szalai Gergely (Sz. G.): A meglévő környezetben külön működött a nagy adatokkal feltöltött adattó (data lake) és a szabványos jelentések előállítására szolgáló adattárház. Szerettük volna, hogy ha mindkét rendszer ugyanazokból az adatokból táplálkozik és még véletlenül sem mutatkoznak eltérések a felhasznált adatokban. Szintén üzleti igény volt, hogy a Vodafone meglévő adatvagyonára épülő modellek, jelentések a két cég integrált adatain is működjenek.
– Milyen rétegekből épül fel a Vodafone adatelemzési infrastruktúrája?
K. B.: Három nagyobb környezet van, amelyek mindegyikét más-más célra használjuk. Van egy operatív data store, amely a napon belül szükséges adatok gyűjtőhelye. Ahogy Gergely említette, működik egy klasszikus adattárház, amely az előre definiált jelentéseket szolgálja ki adatokkal. És végül van egy nagy adattó, amelybe minden adatot betöltünk, függetlenül attól, hogy adott pillanatban szükségünk van-e rá. Az ebben lévő adatokat elemzik az adattudósaink, gépi tanulást és mesterséges intelligenciát használó eszközökkel is.
– Milyen megfontolások alapján döntöttek úgy, hogy az új környezetet már a felhőben építik ki?
K. B.: A Vodafone nemzetközi szinten is kiérlelt felhőstratégiával rendelkezik, amely az üzleti stratégiából következik. Nem infrastruktúra-szolgáltató akarunk lenni, nem szervereket akarunk vásárolni és üzemeltetni, hanem az ügyfélhez közelebbi tevékenységekre szeretnénk helyezni a fókuszt. Erre pedig kiválóan alkalmas a cloud környezet a maga rugalmasságával. Hogy csak egyetlen példát említsek: az adatbetöltésekhez óriási kapacitásra van szükség. Amikor reggelente sor kerül az adatok feltöltésére, létrejön rengeteg virtuális gép, amely elvégzi a feladatot, majd egyből el is tűnik, és csak az a jóval kisebb kapacitás marad, ami a riportok lekérdezéséhez szükséges. Mi a kapacitásért tényleg csak annyi ideig fizetünk, amíg használjuk is.
– Ha már felhő, a nagy szolgáltatók közül miért pont a Google Cloudra esett a választás?
K. B.: A nagyok közül egyértelműen a Google Cloud rendelkezik a legtöbb és legfejlettebb natív adatelemzési képességgel, beleértve a mesterséges intelligenciát használó technológiákat. Ez annyiban nem is csoda, hogy magának a Google-nek az egész tevékenysége az adatok elemzésére és hasznosítására épül. A felhőben az általa is használt eszközök termékesített változatait teszi elérhetővé.
– Hogyan néz ki most az adatok útja a Vodafone-nál a létrejöttüktől az elemzésükig?
Sz. G.: Először egy saját adatközpontban, Hadoop-architektúrán működő adatkinyerő platform minden kijelölt forrásrendszerből kivonja a szükséges adatokat; ez napi szinten mintegy 1900 betöltést jelent. Az adatokat pszeudo-anonimizáljuk, úgynevezett Format Preserve Encryption-t végzünk rajtuk. Ez visszafejthető anonimizáció, de csak a szükséges kulcsok és jogosultságok birtokában lehet visszanyerni az eredeti adatokat. Az adatok átkerülnek egy HDFS fájlrendszerbe, ott titkosítjuk őket és így kerülnek ki a felhőbe. Az adatok továbbítása és tárolása is titkosítottan történik. A titkosítás olyan, hogy a Google mérnökei sem férnek hozzá az adatokhoz. A Google a GDPR előírásainak megfelelően azt is garantálja, hogy az adatok az EU-n belül maradnak.
A felhőbe feltöltött adatok úgynevezett Google Cloud Storage bucketben landolnak. Ebből először egy nyers adatréteg kerül előállításra ahol egy BigQuery környezetben már egységesen elérhetőek a korábbi UPC-s és Vodafone-os rendszerekből származó, illetve az új Vodafone-os rendszerekből érkező adatok is. Az adatok nyers rétegbe való betöltése után a felhőben futó folyamatok segítségével egy historikus aggregált réteg jön létre. A folyamatok vezérlését a DataFusion, Cloud Composer és számos más natív Google Cloud eszköz biztosítja, az adatok pedig végül a Big Query-be érkeznek. A riportok készítése a Google Cloud környezetben futó Qlik segítségével történik, míg az adattóban lévő nagy adathalmazokat a Vodafone adattudósai Python-ban írt kódokkal elemzik. A terveink között szerepel, hogy ez utóbbi feladatra is natív Google eszközöket, például az Auto ML-t vagy a Vertex AI-t használjuk a jövőben.
Naponta mintegy egy terabájt adatot töltünk fel a felhőbe, az aggregált adatmennyiség már 150 terabájt felett van.
– Mennyire volt nehéz megtanulni a felhős környezet működését?
K. B.: Értek bennünket meglepetések, meg kellett szoknunk, hogy a felhő más hozzáállást igényel. Ha hibás lekérdezéseket kezdünk futtatni, az zabálni kezdi az erőforrásokat, és néhány óra alatt több ezer dollárt el lehet égetni a semmire.
Sz. G.: De számos nagyon pozitív meglepetés is ért bennünket. Rendkívül sok támogatást kaptunk akár magyar Vodafone-on belülről, akár a cégcsoporttól, akár a Google-től. Másfél év alatt szinte a nulláról olyan csapatot építettünk fel házon belül, amely már önállóan el tudta végezni a projekt második fázisát.
– Az új rendszernek milyen üzleti előnyeit emelnék ki?
K. B.: Az az egyik legjobb eleme a fejlesztésnek, hogy most akár mobilon is megnézhetek bármilyen jelentést. Állok a dugóban, és látom, hogy milyen volt a tegnapi értékesítés a teljes üzlethálózatban; aztán le tudok fúrni, hogyan teljesített egy adott egység és azon belül valamelyik értékesítő.
Sz. G.: Számomra az a legfontosabb, hogy a korábbinál sokkal agilisabb környezetet tudtunk kialakítani, sokkal közelebb kerültek egymáshoz az üzleti adatelemzők és az informatikus adatmenedzserek. Régebben egy új adatforrás integrálására vagy egy új tábla előállítására valóságos miniprojektet kellett indítani, külső beszállító bevonásával. Most házon belül megoldjuk, napok, legfeljebb hetek alatt, felgyorsítva az üzleti adatok rendelkezésre állását és a döntéshozatali folyamatot.
Az is óriási érték, hogy mind az előre definiált jelentésekhez, mind az adattudósok által végzett ad hoc elemzésekhez ugyanazt az aggregációs réteget használjuk, így sokkal kevesebb és kisebb eltérés mutatkozik a két csapat által kapott számok között. Ahogy újabb és újabb adatforrásokat kapcsolunk majd be a rendszerbe, úgy lesz még kisebb ez az eltérés.
– Hogyan gondolnak továbblépni az adatok hasznosításában?
K. B.: Óriási kiaknázatlan érték rejlik még a nálunk lévő Big Data-ban. Ahogy Gergely is említette, szeretnénk még több natív Google adatelemző eszközt használni, és azokkal például azt vizsgálni, hogy hova érdemes új cellákat telepíteni vagy éppen új üzleteket létesíteni. Ez csak két use case, de minden bizonnyal számtalan más lehetőség is adódik.
Sz. G.: Ráadásul a felhőnek van egy további előnye is, amit még nem említettünk. Egy saját adatközpontban kialakított adattárházhoz ritkábban nyúlnak hozzá, így aztán az pár év alatt hajlamos elavulni. A felhős infrastruktúra rákényszerít minket az újításra, mert folyamatosan jönnek az új funkciók, lehetőségek, mindig van tér az optimalizálásra. Ahogy a Google új és új eszközöket, technológiákat tesz elérhetővé, azokat mi is használatba akarjuk venni. És a kollégák is rendkívüli módon élvezik, hogy állandóan új dolgokat tanulhatnak, aminek mi is örülünk, mert a munkatársak folyamatos továbbképzése a Vodafone egyik alapelve.
