Nagy Adat – nagy gond, nagy előny

Egyelőre még az informatikai ipar sem jutott közös nevezőre, mi is a Big Data, de abban mindenki egyetért, hogy óriási üzleti lehetőségek rejlenek benne. A Nagy Adat a hirtelen felkapottá vált hívószavak minden jellegzetességével rendelkezik. A felhajtás mögé nézve azonban kiderül, hogy tényleg érdemes szemügyre venni a jelenséget.

Mint oly sok esetben, már maga az elnevezés is kissé félrevezető. A Nagy Adat kifejezés azt sugallja, hogy mérete, mennyisége a legfontosabb tényező, amely megkülönbözteti az eddigi adatkezelési gyakorlatoktól. Ez ugyan része a teljes képnek, de messze nem a teljes kép – ahhoz ugyanis hozzátartozik az adatok elképesztő változatossága és keletkezésének gyorsasága is.

A világon keletkező adatmennyiség, a „digitális univerzum” valóban elképesztő ütemben bővül. Az IDC piackutató cég évenként elvégzett elemzése szerint 2011-ben 1,8 zettabájt (1,8 milliárd terabájt) adat keletkezett a világon, 2020-ban pedig már 7,9 zettabájtra nő ez a szám.

Ugyancsak az IDC számításai szerint az elkövetkező évtized során a vállalati adatközpontokban kezelt adatok mennyisége az 50-szeresére fog nőni. A mennyiség önmagában azonban még viszonylag jól kezelhető. Az egy petabájtos (ezer terabájtos) határt már 2008-ban áttörték az adatbázisok, és azóta a legnagyobb vállalatok körében egyáltalán nem számít ritkaságnak az akár több tucat petabájtnyi adatot tartalmazó adatbázis – ezekkel már viszonylag jól meg tudnak birkózni az informatikai rendszerek.

Adatok és nanoadatok

No persze csak akkor, ha szokványos, strukturált adatokról van szó, amelyeket jól el lehet rendezni sorokba és oszlopokba a hagyományos adatbázisok logikája szerint. A Nagy Adat egyik legfontosabb jellemzője viszont éppen az, hogy nagyon sokféle adattípust gyűjt össze (és igyekszik elemezni), amelyben a strukturált adatok a kisebbséget jelentik.

A közvélekedéssel ellentétben a többi sem feltétlenül strukturálatlan adat – hívja fel a figyelmet Donal Daly, a Teradata keretein belül működő Aster Data kompetenciaközpont igazgatója. A strukturálatlan adat alatt többnyire a videót és hangot értik, itt pedig jóval többről van szó. Daly szerint a többstruktúrájú (multi-structural) adat jobban kifejezi a lényeget, mely szerint az adatforrásnak nagyon is van struktúrája, csak éppen nehezebben bogozható ki, és az eltérő adatoknak más-más struktúrája lehet. Tipikusan ilyenek lehetnek a webes naplóállományok vagy a különféle szenzorok adatai: van bennük rendszer, de ez a rendszer nem olyan, mint a hagyományos relációs adatbázisoké.

Milyen adatfajtákból állhat össze a Nagy Adat? A lehetőségek szinte végtelenek, mert egyre több esemény történik digitálisan, és ezekből egyre több mindent tudunk rögzíteni és tárolni. A téma egyik kutatója, az MIT Digitális Üzleti Központjának igazgatója, Erik Brynjolfsson szerint megérkeztünk a „nanoadatok” korába. Ezek olyan apró információmorzsák, amelyek folyamatosan keletkeznek az emberi és gépi tevékenység „melléktermékeként”, de csak mostanában kezdjük felismerni a jelentőségüket.

Nanoadat lehet egy webhely meglátogatása során a kattintások sorozata; az elektronikus levelek különböző attribútumai; az rfid-címkék vagy a vonalkódok leolvasott adatai; a dokumentumokban, weboldalakon elhelyezett linkek, utalások; az internetes keresések összesített adatai; vagy akár a különböző eszközök által továbbított gps-adatok. Természetesen ide tartoznak a felhasználók által létrehozott adatok is, a Facebook-bejegyzések, a feltöltött fényképek, a Twitter-üzenetek vagy a Foursquare-bejelentkezések, és így tovább.

Tranzakciók és interakciók

Az adatoknak ez a granularitása teszi lehetővé, hogy a Nagy Adatot egészen másfajta elemzésekre is felhasználjuk, mint korábban, és a tranzakciók helyett az interakció kerüljön a középpontba.

A hagyományos adatbázisok és az elemzésükre szolgáló adattárházak a tranzakciókat figyelték: az online vásárlást, szerződéskötést, új ügyfél megnyerését. Ezek az adatok jól ismert forrásokból (például vállalatirányítási és ügyfélkapcsolat-kezelő rendszerekből) származtak és többnyire strukturált, relációs adatbázis-kezelőkben tárolták őket. A felhasználók az adattárházaik és azokhoz tartozó eszközök segítségével az ebből kinyert információkat elemezték, és próbáltak a múlt eseményei alapján előrejelzéseket adni a jövőre nézve.

A Nagy Adat kapcsán viszont nem pusztán tranzakciókat, hanem interakciókat figyelünk meg és próbálunk elemezni. Nem csak az lesz fontos, hogy mit és mennyiért vásárolt a felhasználó a webáruházban: azt is tudni akarjuk, hogy honnan érkezett, milyen oldalakat, termékeket nézett meg, merre haladt a weboldalak szövevényében, mennyi ideig időzött egy-egy oldalon, milyen információkat adott meg, és így tovább. Nemcsak a folyamat végeredménye lesz érdekes, hanem a folyamat minden egyes lépése, annak minden jellemzőjével együtt.

Értelemszerűen az interakciók száma és változatossága jóval nagyobb, mint a tranzakcióké, de egyúttal jóval többféle elemzés elvégzésére és újfajta következtetések levonására is alkalmasak lehetnek.

Új feladatra új eszközök

A nagy tömegű, többféle struktúrával rendelkező, folyamatosan beérkező adatok azonnali elemzése és gyors felhasználása viszont új eszközöket igényel, mert a klasszikus adattárház-eszközök erre igen kevéssé alkalmasak – említi a Nagy Adat alapvető problémáját Donal Daly.

Hagyományos környezetben már nem nagyon éri meglepetés az informatikusokat és a felhasználókat. A strukturált adatok relációs adatbázisokban vannak tárolva, az üzleti felhasználók pedig többé-kevésbé tudják, hogy milyen mérőszámokat, információkat szeretnének kinyerni az adatokból. A felhasználói igényeknek megfelelően ki lehet alakítani az adatmodellt, majd az alapján létrehozni az adattárházat, és azt a folyamatot, amelynek során az eredeti adatbázisból kinyerik, átalakítják és betöltik az adatokat az adattárházba. Mindehhez vannak előre elkészített modellek, eszközök, és bőségesen áll rendelkezésre szaktudás mind a vállalatoknál, mind az informatikai szállítóknál, ismerteti az elvet Daly.

Ugyanez az eljárás nem működik a Nagy Adat esetében. Itt is megmarad az adatkezelés három nagy lépése (begyűjtés-tárolás, szervezés-rendszerezés, elemzés), csak éppen mindegyiket újfajta eszközzel kell elvégezni. Az első feladatra, az adatok összehordására és tárolására többnyire a nyílt forráskódú Hadoop technológiát és annak elosztott állományrendszerét (Hadoop Distributed File Systems, hdfs), illetve a nosql (Not only SQL) adatbázis-kezelőket használják. Ezek közös jellemzője, hogy nem akarják egyből kategorizálni az adatokat és megtalálni közöttük az összefüggéseket, ebből adódóan viszont nem is alkalmasak arra, hogy a nyers adatokból könnyen értelmezhető információt hozzanak létre, hogy megtalálják az aranyrögöt a hordalékban.

Erre kellenek azok a szoftverek, amelyek rendszert visznek be a nyers adatokba. Manapság szinte az összes ilyen megoldás a MapReduce technológiára alapoz, amely egy Java alapú alkalmazásprogramozási modell. A MapReduce meglehetősen hatékony technológia, ám önmagában komoly programozási ismereteket követel meg. Nem csoda, hogy a Nagy Adat első felhasználói azok a technológiai cégek és nagyvállalatok voltak, amelyeknél rendelkezésre áll ez a tudás.

Előny a gyorsaknál

Szerencsére a legtöbb nagy gyártónál feltűntek az utóbbi időben azok az eszközök, amelyek igyekeznek elrejteni a Hadoop és a MapReduce „nyerseségét”, és olyan köntösbe öltöztetik azokat, hogy a hagyományos vállalati környezetben is viszonylag könnyen használhatók legyenek. Az ilyen eszközökkel szemben az egyik legfontosabb követelmény, hogy megfelelően gyorsak legyenek, kezdi a felhasználói igények felsorolását Donal Daly. Ha az üzleti felhasználó feltesz egy kérdést a rendszernek, arra néhány percen, és nem néhány órán belül szeretne választ kapni. Ennek nemcsak kényelmi, hanem üzleti előnyei is vannak, teszi hozzá a szakértő. Ha egy munkanap alatt csak három-négy lekérdezést tud elvégezni, a felhasználó válogatni kezd a feladatok között, és fennáll a veszélye, hogy elsiklik valamilyen lehetséges összefüggés fölött. De ha gyorsan választ kap kérdéseire, sokkal több lehetőséget kipróbál, és nagyobb eséllyel találja meg az aranyrögöt a hordalékban. „Elképzelhető, hogy az első kilenc keresés nem vezet eredményre, de a tizedikben ott az aranyrög – de ehhez el is kell jutni a tizedik próbálkozásig” – hangsúlyozza Daly.

A lassúság egy másik veszélye, hogy a felhasználó a gyorsítás érdekében szűkíti a vizsgálatba bevont adatok körét, ami viszont nem nyújtja ugyanazt az eredményt. A Nagy Adat-szemlélet lényeges eleme, hogy a lehető legteljesebb adathalmazon végezzük az elemzést. Ha például egy bank a szokványostól eltérő viselkedéseket keresve akarja kiszűrni a csalásokat, sokkal kisebb eséllyel veszi észre ezeket, ha csak mintát vesz az adatokból, és nem az egészet veti alá az elemzésnek.

Az is szerencsés, ha a vállalatok a Nagy Adat feldolgozásában minél inkább tudnak támaszkodni meglévő eszközeikre és szakembereik tudására. Az adatkezelésben jó ideje az sql számít de facto szabványnak – sajnálatos módon azonban bizonyos feladatokra (például mintázatok felismerésére) egyáltalán nem ideális eszköz, mondja Daly. Ezekre a feladatokra jobb lehet a Hadoop és a MapReduce által használt Java programozási nyelv. „Az sql-szakértők megtanulhatják a Javát, de ez sokáig tart. Vehet fel a cég Java-programozókat is – ők viszont nem ismerik a vállalatot és a felhasználói igényeket” – fogalmazza meg a dilemmát Donal Daly. Egy jó eszköz lehetősége szerint hidat teremt a két világ között.

Ha pedig az újfajta eszközökkel a felhasználók megtalálták a Nagy Adat tengerében az információ aranyrögeit, azokat elemezhetik önmagukban is, vagy még jobb, ha betöltik őket a normál adattárházakba, ahol összevethetők lesznek az egyéb forrásokból származó információkkal. A Nagy Adat és a hozzá tartozó szoftverek nem fogják feleslegessé tenni a meglévő adattárházakat, hanem új információkkal gazdagítják azokat, hangsúlyozzák a szakértők. (Néhány, a piacon lévő eszközről lásd „Széles választék” című keretes írásunkat.)

Döntések adatok alapján

A Nagy Adatra azonban fokozottabban áll az, ami amúgy is igaz az informatikai megoldások többségére: az eszköz, a technológia egymagában nem csinál nyarat. Annyira új lehetőségeket teremt az üzlet számára és annyira új kihívások elé állítja az informatikát, hogy annak még a mértékét is nehéz felmérni.

Éppen ezért, mielőtt egy cég fejest vetné magát egy Nagy Adat projektbe, érdemes feltennie magának néhány kérdést. A legfontosabb talán az, hogy a meglévő adatait mennyire jól kezeli: azokból vajon kisajtolt-e már minden üzleti értéket, és valóban új adatforrások után kell néznie, hogy előreléphessen? Ha a hagyományos adatok körül nincs minden rendben (mert például szerteszórva, duplikálva tárolják őket, és nem elemzik ki alaposan), akkor először azt kellene rendbe tenni.

De utána is az üzletnek kell vezetnie a projektet, nem az informatikának. Az üzletnek kell megfogalmaznia azokat a kérdéseket, amelyekre a Nagy Adat elemzéséből remél válaszokat nyerni: kik a legnagyobb profitot hozó ügyfelek? Milyen viselkedés jellemző rájuk? Hogyan tudom jobban kiszolgálni őket? Mivel akadályozhatom meg, hogy elmenjenek? Ha a kérdések már megvannak, akkor az informatika segítségével kell tisztázni, hogy a válaszokat valóban a Nagy Adatban találja-e meg a cég, vagy esetleg a meglévő adatforrások jobb elemzése is segíthetne. Az semmiképpen nem megy, hogy kezdjük el elemezni az adatokat, előbb-utóbb majd csak találunk valamit!

Egyébiránt az informatikai projektre vonatkozó aranyigazságokat kell a Nagy Adattal kapcsolatban is szem előtt tartani.

Viszonylag kicsiben kell indítani, egyszerűen megvalósítható és gyorsan eredményt hozó projekttel, amit aztán a későbbiekben ki lehet terjeszteni újabb területekre is. Ennek során fel kell készülni arra, hogy teljesen újra kell gondolni folyamatokat, a cég működését – de ez nem nagy ár, ha a várható üzleti haszonnal vetjük össze.

A már említett Erik Brynjolfsson szerint a Nagy Adat felhasználásának egyik legkomolyabb előnye, hogy lehetővé teszi az adatokra alapozott, azonnali döntéshozatalt. A vállalati világban ma többnyire az úgynevezett HiPPO-elv érvényesül. A betűszó a highest-paid personʼs opinion, a „legjobban fizetett személy véleménye” kifejezés rövidítése (továbbá angolul víziló…), és azt a gyakorlatot takarja, hogy bármilyen megbeszélés vagy döntési folyamat során, a lehetőségek számbavétele után, végül is annak a személynek a szava lesz a döntő, aki az adott körben a legtöbbet keresi, legyen szó egy osztályvezetőről vagy éppen a vállalat vezérigazgatójáról.

Az adatokra alapozott döntéshozatal viszont sokkal objektívebb tud lenni. A felhasználói szokásokra, a vásárlási tendenciákra, az ügyfelek viselkedésére vonatkozó adatok valós időben rendelkezésre állhatnak, és ha sikerül őket hasonlóképpen valós időben elemezni, az így kinyert információkat azonnal, a taktikai döntéshozatalban is fel lehet használni – ellentétben a klasszikus adattárházakból származó információkkal, amelyek alapvetően a hosszú távú stratégiai döntések megalapozására szolgálnak.

Összeállította: Schopp Attila