A mesterséges intelligencia fejlődése már rég túllépett az egyszerű szövegfeldolgozáson: a modern nagy nyelvi modellek (LLM-ek) ma már képesek számítógépes kódot generálni, matematikai problémákat megoldani, képeket és hangokat értelmezni, valamint több nyelven kommunikálni. Az MIT kutatói most arra keresték a választ, hogy ezek a modellek milyen elvek mentén dolgozzák fel az eltérő típusú adatokat, és arra jutottak, hogy működésük bizonyos szempontból hasonlít az emberi agyhoz.
A neurológiai kutatások szerint az emberi agyban az elülső halántéklebenyben található egy szemantikai központ, amely összegyűjti és integrálja a különböző érzékszervi modalitásokból érkező információkat, például a vizuális vagy tapintási ingereket. Ez az információfeldolgozás egyfajta központi csomópontként működik, amelyhez az egyes érzékszervi modalitásokhoz tartozó „küllők” csatlakoznak.
Az MIT kutatói szerint a nagy nyelvi modellek hasonló elvet alkalmaznak: az eltérő modalitásokból származó adatokat egy közös, általános módon dolgozzák fel. Például egy angol nyelvű LLM angol nyelven végzi az értelmezési és gondolkodási műveleteket még akkor is, ha a bemenet egy másik nyelvű szöveg, egy matematikai egyenlet vagy egy kódrészlet. Sőt, a kutatók azt is kimutatták, hogy be tudnak avatkozni a modell működésébe, és az angol nyelvű szöveges inputokkal módosítani tudják a modell válaszait, még akkor is, ha az adott pillanatban egy másik nyelven dolgozik.
Hogyan dolgozza fel az adatokat az LLM?
A kutatás során a szakértők megvizsgálták, hogy egy LLM hogyan bontja fel az adatokat és milyen módon reprezentálja azokat a belső rétegeiben. A modellek a beérkező szöveget úgynevezett tokenekre bontják (ezek lehetnek szavak vagy szórészek), majd minden tokenhez egy belső reprezentációt rendelnek, amely alapján képesek felismerni az összefüggéseket és előrejelezni a következő szót vagy adatot.
Amikor egy modell például egy képet vagy egy hangfelvételt elemez, ezek az adatok szintén tokenizálódnak: a kép egyes részei vagy a hang egyes szakaszai tokenekként jelennek meg a modell belső struktúrájában. Az LLM kezdetben a nyers adatokat az adott modalitás szerint dolgozza fel – ez a folyamat hasonlít az emberi agy „küllőinek” működésére. Ahogy azonban az információ továbbhalad a modell mélyebb rétegeibe, egyre absztraktabb és általánosabb formát ölt, amely már független a bemeneti adat típusától.
A kutatók azt tapasztalták, hogy a modell nagyon hasonló reprezentációkat rendel az azonos jelentésű adatokhoz, függetlenül attól, hogy azok szövegek, képek, hangok vagy akár matematikai egyenletek. Például ha egy angol nyelven domináns modell egy kínai nyelvű szöveget kap bemenetként, azt először angol gondolkodási struktúrába helyezi, mielőtt visszaalakítaná kínai nyelvű kimenetté.
Kísérletek a szemantikai központ működésének igazolására
A kutatás során a szakemberek két hasonló jelentésű, de eltérő nyelvű mondatot adtak a modellnek, majd megvizsgálták, hogy a belső reprezentációik mennyire hasonlóak. Az eredmények azt mutatták, hogy a modell belső struktúrája szoros kapcsolatot teremtett a két mondat között, függetlenül attól, hogy eltérő nyelven voltak.
Egy másik kísérletben egy angol nyelvre épített LLM-et kínai nyelvű bemenetekkel teszteltek, és elemezték, hogy a modell belső rétegei angol vagy kínai nyelvi struktúrákat használnak-e a feldolgozás során. Az eredmények szerint a modell inkább az angol nyelv struktúráit használta, még akkor is, ha a bemenet kínai volt.
A kutatók ugyanezt a vizsgálatot más adatformátumokra is kiterjesztették, például matematikai kifejezésekre vagy számítógépes kódra, és minden esetben azt tapasztalták, hogy az LLM az angol nyelvet részesítette előnyben mint közvetítő nyelvet a gondolkodás során.
Mit jelent mindez a jövő mesterséges intelligenciája szempontjából?
Az eredmények szerint az LLM-ek a szemantikai központ stratégiáját azért alakítják ki, mert ez egy hatékonyabb módja az adatok feldolgozásának. Egy modellnek ugyanis nem kell minden tudást minden egyes nyelven külön-külön elsajátítania – az általános ismereteket, például a hétköznapi vagy a tényalapú tudást, egy közös, nyelvfüggetlen módon is tárolhatja.
Ugyanakkor ez a működésmód felvet néhány kihívást is. Egyes kulturálisan specifikus információk vagy fogalmak nem fordíthatók le egyszerűen egy domináns nyelvre, ami veszélyeztetheti az ilyen információk pontos feldolgozását. Ezért a jövőbeli kutatások egyik fontos iránya az lehet, hogy hogyan lehet egyensúlyt teremteni az univerzális szemantikai feldolgozás és a nyelvspecifikus feldolgozás között.
A kutatók szerint ezek az eredmények segíthetnek a többnyelvű modellek továbbfejlesztésében is. Jelenleg gyakran előfordul, hogy egy angolra optimalizált modell egy másik nyelv megtanulása során veszíti el az angol nyelven elért pontosságát. A szemantikai központ működésének jobb megértése segíthet ezen a problémán.
Mor Geva Pipek, a Tel Aviv Egyetem számítógéptudományi tanszékének professzora úgy véli, hogy az MIT kutatása fontos kapcsolatot teremt a mesterséges intelligencia és az emberi agy működése között. „Ez a kutatás megmutatja, hogy a szemantikai központ hipotézise valóban érvényes a modern nyelvi modellek esetében, és ez az összefüggés komoly hatással lehet a multimodális MI-rendszerek fejlesztésére, valamint az emberi agy és a mesterséges intelligencia közötti kapcsolatok jobb megértésére.”
Az MIT-IBM Watson MI Laboratórium által részben finanszírozott kutatás egy újabb lépés a mesterséges intelligencia belső működésének feltérképezésében, és hozzájárulhat a következő generációs MI-rendszerek hatékonyabb fejlesztéséhez.
