A Tokiói Tudományegyetem kutatói egy új módszert fejlesztettek ki, amely lehetővé teszi a mesterséges intelligencia számára, hogy elfelejtsen bizonyos adatokat. A kutatók azzal érveltek, hogy a jelenlegi nagyméretű nyelvi modellek energiaigényesek, és adatvédelmi, illetve biztonsági aggályokat vetnek fel, mivel mindenre kiterjedően működnek.
A kutatócsoport egy tanulmányban ismertette az úgynevezett „Black-Box Forgetting” módszert, amely optimalizálja az MI-modellek által használt szöveges utasításokat, így az intelligens rendszerek bizonyos adatcsoportokat figyelmen kívül hagyhatnak.
A kutatási projektet Go Irie, az egyetem docense vezette, aki rámutatott: sok esetben nem szükséges az összes adatcsoport felismerése a valós életbeli alkalmazások során. Példaként említette az autonóm járművek rendszereit, amelyeknek elegendő néhány objektumtípus – például autók, gyalogosok és közlekedési táblák – azonosítása. Irie szerint az, hogy a mesterséges intelligenciát olyan osztályok felismerésére képezik, amelyekre nincs feltétlenül szükség, ronthatja az összesített osztályozási pontosságot, miközben fölöslegesen növeli a számítási erőforrások felhasználását és az információszivárgás kockázatát.
Specializált MI a mindenre kiterjedő rendszerek helyett
A kutatók hangsúlyozták, hogy sok gyakorlati esetben az emberek inkább olyan mesterséges intelligenciát szeretnének, amely konkrét feladatokat lát el, nem pedig mindenhez értő rendszereket. A tanulmány megjegyzi, hogy már léteznek módszerek a korábban betanított modellek felejtésére, ám ezek általában „fehér doboz” megközelítést igényelnek, vagyis a felhasználónak hozzáférést kell kapnia a modellek belső paramétereihez és architektúrájához.
Ezzel szemben a kutatócsoport a „fekete doboz” modellekre összpontosított, amelyek esetében nincs hozzáférés a belső beállításokhoz. Ennek érdekében egy deriváltmentes optimalizációs stratégiát dolgoztak ki, amely nem igényli a háttérrendszer ismeretét.
Új megoldások és teszteredmények
A kutatók a kovariancia-mátrix alkalmazkodásos evolúciós stratégia (CMA-ES) módszerét bővítették, amelyet a kontrasztív nyelv-kép előképzésen (CLIP) alapuló modellek célzására használtak. Az általuk kifejlesztett „evolúciós algoritmus” különböző lehetséges szöveges utasításokat generál, amelyeket a modellhez táplálnak be, majd az eredményeket meghatározott célfüggvények alapján értékelik. Az algoritmus ezt követően frissíti az értékek alapján a többváltozós eloszlást.
A módszer nagyobb problémák kezelésekor tapasztalt teljesítménycsökkenését egy új paraméterezési technikával, a rejtett kontextusmegosztással küszöbölték ki. Ez a technika kisebb egységekre bontja az adatokat, amelyek a szövegutasítás egyedi elemeiként kezelhetők, így az egész folyamat egyszerűbbé válik. A benchmark tesztek szerint a módszer hatékonyan képes elfelejteni az adatállományban szereplő osztályok 40 százalékát.
Go Irie kiemelte, hogy az eredmények hozzájárulhatnak a szolgáltatók adatvédelmi követelményeknek való megfeleléséhez anélkül, hogy a modelleket teljesen újra kellene képezniük. Ez a megközelítés csökkentheti az energiafelhasználást, növelheti az adatbiztonságot, és lehetőséget nyújt specializáltabb MI-megoldások fejlesztésére.
