Nemszeretem, de sokszor szükséges feladat az adatmigráció. Néhány szabály betartásával, jól definiált folyamatok követésével a siker esélye a sokszorosára növelhető.
Az adat érzékeny élőlény: folyamatos gondozást, odafigyelést igényel. A legtöbb bajt mégis olyankor okozza, amikor „átültetni”, vagyis mozgatni (migrálni) kell őket: a korábbi hardver- és szoftverkörnyezetükből kiragadva új helyre kerülnek. Az ilyen projekteket a legtöbb informatikai üzemeltető igyekszik elkerülni, de van, amikor nem tud kibújni a feladat alól: alkalmazáscserére vagy -frissítésre kerül sor, adattárházban konszolidálnak több forrásból adatokat vagy addig önálló rendszereket vonnak össze közös platformra.
Jó okkal félnek az adatmigrációtól az üzemeltetési szakemberek: kutatók felmérései szerint ugyanis a hasonló projektek 60 százaléka ilyen vagy olyan okból, de kudarccal végződik. Hogyan lehet mégis sikerre vinni a munkát? David Barkaway, a SAS adatintegrációs szakértője azt tanácsolja, a cégek kövessék az alábbi hét lépést.
A forrásrendszerek feltérképezése
Az adatmigrációs projekt legelső lépése a forrásként szolgáló adatok azonosítása és feltérképezése, mégpedig a célrendszer szempontjai alapján. Valószínű, hogy a forrásadatok struktúrája nem felel meg a célrendszer követelményeinek: kulcsfontosságú annak meghatározása, hogy milyen adatokra, mezőkre lesz szükség, azok hol vannak, és fordítva, mely adatok redundánsak, illetve feleslegesek.
Más a helyzet, amikor az elsőként azonosított forrás nem tartalmaz minden adatot, amire szükség lesz. Ilyenkor újabb adatforrások bevonására van szükség, és konszolidálva kell előállítani az új rekordokat. A több adatforrás használata egyúttal lehetőséget ad az adatok, rekordok ellenőrzésére. Nagy adatmennyiségek esetében érdemes csoportosítani az adatokat (például nevek, címek, termékek), hogy könnyebben kezelhető halmazokat kapjunk.
Adatértékelés
Második lépésként az azonosított források adatminőségét kell ellenőrizni és értékelni. Ha az új rendszer az adatok inkonzisztenciája, pontatlansága vagy duplikációja miatt nem működik, kárba veszett az egész adatmigráció. Az értékelés egyik bevett módja az adatprofilok létrehozása.
A szakemberek szisztematikusan átnézik és elemzik a táblázatok adatait: megvizsgálják az értékeket, a metaadatokat, így adattáblázat és -oszlop szinten lehet kiszűrni a hibás adatokat. E fázis eredményeképpen tisztában leszünk a forrásadatok minőségével, tudjuk, milyen gondok vannak velük, és milyen szabályokat alapján javíthatók.
A migráció tervezése
Ebben a fázisban a migrációs folyamat technikai architektúráját és terveit készítjük el, valamint felkészülünk a tesztelésre. Dönteni kell arról is, hogy milyen formában történjen meg az átállás: működés közben, vagy párhuzamosan fut a két rendszer, vagy az új beállásával egyszerűen lekapcsoljuk a régit.
Ilyenkor már írásba foglalandó a következő négy fázis terve is: határidőkről, műszaki részletekről kell dönteni, és érdemes számba venni minden egyéb lehetséges buktatót.
A migráció fejlesztése
Bár az adatmigrációs rendszerre csak egyszer lesz szükség, és utána csak nagyon korlátozottan használható újra, nem szabad félvállról venni a minőségi követelményeket. Bevált gyakorlat, hogy egyszerre csak az adatok kisebb, jól meghatározott köréhez fejlesztik a migrációs rendszert, és utána terjesztik ki újabb és újabb területekre.
Semmiképpen sem szabad megfeledkezni a tesztelésről, ami rendszerint többfordulós: először kisebb halmazokon szokás kipróbálni, hogy az adatmegfeleltetések, a transzformációk és az adattisztítás megfelelően működik-e, majd ha ezek egyenként jól mennek, akkor lehet őket összekapcsolni egyetlen nagyobb munkafeladattá.
Ha a fejlesztők jól végzik a munkát, ennek a fázisnak a végére egy kész, kitesztelt migrációs folyamat áll elő, amely nemcsak megbízható és méretezhető, de a szabott időn belül el is tudja végezni a feladatot.
Végrehajtás
A tesztelés után nagy levegő, és jöhet a migráció tényleges végrehajtása. Az esetek többségében a forrásrendszert lekapcsolják a migráció időtartamára, ezért általában hétvégére vagy ünnepnapra időzítik. Előfordulhat azonban, hogy üzleti szempontok miatt a forrásrendszernek folyamatosan kell működnie. Ilyenkor szükséges egy eszköz, ami betölti a kezdeti adatokat, majd rögzíti a bekövetkezett változásokat, és a migráció után gondoskodik ezek szinkronizálásáról.
Átállás
Az adatmigráció végrehajtása után eljön az a pillanat, amikor a felhasználókat át kell állítani az új rendszerre (és esetleg ezzel együtt „nyugdíjazni” a régit). Ez nem megy egyik pillanatról a másikra. A végrehajtás során – ha jól csinálták – keletkeztek olyan logok, naplóállományok, amelyek rögzítették a teljes folyamatot. Ezeket ellenőrizni kell: minden adat a megfelelő módon és a megfelelő helyre lett-e migrálva; éles üzemű migráció esetén azt is meg kell vizsgálni, hogy az utólagos szinkronizáció sikeres volt-e.
Utóbbi a folyamatos frissülés miatt nem egyszerű feladat: a forrásrendszer változásai és a célrendszeren végrehajtott szinkronizáció között óhatatlanul van némi késlekedés.
Éles üzem
Már a tervezés folyamán szükséges azon gondolkodni, hogy az átállás után milyen ütemezéssel és hogyan vonjuk ki az üzemből a régi rendszert. Az is előfordul, hogy a forrásrendszerek továbbra is működésben maradnak; ilyenkor különös gondot kell fordítani a felfedezett adatminőségi problémákra és azok megoldására. Azt sem szabad hagyni, hogy az új, és végre makulátlan adatokkal dolgozó rendszer „berozsdásodjon”: megfelelő módszereket és folyamatokat kell életbe léptetni az adatminőség folyamatos ellenőrzésére, és ha szükséges, javítására.
Mindenképpen érdemes eltenni a megoldást, amit a migrációhoz fejlesztettünk ki. Előbb-utóbb eljön a következő adatmigráció ideje, és biztosan lesz egy-két komponens, amit abban fel tudunk használni.
Összeállította: Schopp Attila
