A vállalatok régóta rengeteget költenek egyre növekvő mennyiségű adataik (ezt sokszor idehaza is csak ’Big Data’ néven emlegetjük) tárolására, de még többet ezek feldolgozására.
Miközben az adattároló eszközök, a sok terabájtos diszkek mind növekvő kapacitása igyekszik lépést tartani ezzel a folyamattal, az adatok feldolgozásában rendelkezésünkre álló technológiák legtöbbjéről saját kárunkon kell megtanuljuk, milyen az, amikor a mennyiség átcsap minőségbe… Ezzel párhuzamosan adataink jellege is változik: a feldolgozandó adatok nagyobb hányada már strukturálatlan, azaz nem tárolható relációs adatbázisban. A mennyiségekre jellemző, hogy az egyik nagy közösségi oldal naponta gyűjt össze 100TB új információt a felhasználóitól.
Ilyen környezetben megszokott architektúráink (pl. a hagyományos adattárházak), vagy módszereink többsége túl lassú és/vagy túl drága, emellett nehezen üzemeltethető, ha hatalmas adathalmazokkal kell bánni. Ha ’Big Data’, akkor Hadoop – mondják ma mind többen. Ez a nyílt forráskódú eszközkészlet kifejezetten arra született, hogy a hatalmas adatmennyiségek – legyenek strukturált vagy strukturálatlan adatok – feldolgozása a legrövidebb időn belül adjon értékes eredményeket.
A Hadoop valóban sokszor segít. Sokan vannak már azok a cégek, akik adatelemző és javaslattevő eljárásokat építenek rá, amelyek a (pl. vásárlói vagy webes böngészési) szokások elemzését és az eladások volumenét vagy a kapcsolódó reklámok hatékonyságát növelni hivatott, célzott következtetések levonását teszik lehetővé. Mind több ilyen példát láthatunk akár a kereskedelemben, szolgáltatási iparban, vagy pl. az online média területén is. De akar arra is példa, hogy netes párkereső szolgáltatás mögött dohog Hadoop-alapú automatizmus, amely a társkeresők megadott jellemzői alapján igyekszik mind pontosabb „párosítást” javasolni. Szakmai szempontból a Hadoop olyan technológiákat ötvöz, amelyek – szakítva a megszokott megközelítéssel – az ún. scale-out és massively parallel processing architektúrákra épülnek. Miközben az adatfeldolgozást párhuzamosítható lépésekre bontja, speciális adattárolási struktúrákkal (HDFS – Hadoop Distributed File System) teszi lehetővé, hogy az egyes lépések bemeneti adatai, illetve az elkészült eredmények is elosztott módon, hatékonyan legyenek tárolhatók.
A scale-out architektúrák és a korábbi elterjedt rendszerek közötti legfontosabb különbség, hogy nem elégszik meg egy-egy erőforrás-típus skálázásával. A tárolóeszközök világából hozott példán: egy scale-out eszköz esetében nem csak a diszkeket tesszük „vég nélkül” az adott berendezésbe. Ezzel ugyanis az adatok mennyiségén segítünk csak, feldolgozási sebességükön a hamar szűk keresztmetszetté váló vezérlők, belső összeköttetések, tárolási struktúrák, stb. miatt viszont nem. A scale-out rendszer tárolókapacitásban és kiszolgálási sebességben egyaránt erősebbé válik, amint bővíteni kezdjük.
A parallel processing, azaz a párhuzamos feldolgozást végző architektúrák sebességének titka pedig szintén éppen abban van, hogy elkerüli azt, amit az eleddig elterjedt módszerek nem tudtak. Nincs benne ugyanis olyan komponens, amely gátját vetné a sebesség növelésének: ún. shared-nothing („nem osztunk meg semmit”) felépítésű.
Az EMC eszköztárában egyre-másra jelennek meg azok az új megoldások, amelyek megvalósítják a fenti működést az adattárolás és –elemzés területén, ideális platformot teremtve a Hadoopalkalmazások megvalósításához. Az EMC Greenplum HD, amely az Apache Hadoop változat bevizsgált megvalósítását adja, a szükséges számítási kapacitást, illetve a Hadoop keretrendszeri funkciókat biztosítja. Az EMC Isilon nagyvállalati NAS megoldás pedig az adatok tárolásáért felelős, miközben a világon elsőként támogatja natívan a HDFS fájlrendszer alkalmazását. A Greenplum HD – Isilon páros alkalmazásával a vállalatok a kifejezetten Hadoop-célokra optimalizált, kész rendszert vehetnek használatba. Emellett a standard (lokális adattárolást megvalósító) Hadoop implementációhoz képest mind sebességében, mind megbízhatóságában jobban teljesítő HDFS-alapú környezet jön létre, amely a Hadoop egyébként meglévő architektúrális hiányosságait is kiküszöböli (Name Node: nem védett meghibásodási pont). Az Isilon segítségével az adatok rendszerbe töltése is gyorsabb, rugalmasabb. A standard protokollok (NFS, CIFS, HTTP, FTP) alkalmazásával bármely rendszer adhat át adatokat feldolgozásra, majd ezek a natív HDFS felületen át hatékonyan és gyorsan elemezhetők a Greenplum HD-n futtatott eljárásokkal.
(X)
(X)
