A Microsoft Research bejelentette a Magma nevű új MI-modellt, amely egyesíti a vizuális és nyelvi feldolgozást, így képes szoftverfelületek és robotrendszerek vezérlésére. Amennyiben a belső tesztelések eredményei külső környezetben is megállják a helyüket, ez jelentős előrelépést jelenthet az általános célú, multimodális MI területén, amely képes interaktívan működni mind a fizikai, mind a digitális térben.
A Microsoft állítása szerint a Magma az első olyan MI-modell, amely nem csupán multimodális adatokat (szöveg, kép, videó) dolgoz fel, hanem képes is azok alapján cselekedni – legyen szó egy felhasználói felület kezeléséről vagy fizikai tárgyak manipulálásáról. A projekt a Microsoft, a KAIST, a Marylandi Egyetem, a Wisconsini Egyetem és a Washingtoni Egyetem kutatóinak együttműködésével jött létre.
Bár más nagy nyelvi modell alapú robotikai projektek, például a Google PALM-E és RT-2, valamint a Microsoft ChatGPT for Robotics is lehetővé tették az MI számára a különböző interfészek kezelését, a Magma előnye abban rejlik, hogy egyetlen alapmodellként integrálja az érzékelést és az irányítást. A korábbi multimodális rendszerek gyakran külön modelleket használtak ezekre a funkciókra.
A Microsoft a Magmát az „ügynöki MI” felé tett lépésként pozicionálja, ami azt jelenti, hogy a rendszer képes önállóan terveket kidolgozni és többlépéses feladatokat végrehajtani az emberi beavatkozás minimalizálásával. A kutatási anyag szerint a Magma képes célokat meghatározni, terveket készíteni és végrehajtani azokat, miközben a verbális, térbeli és időbeli intelligencia összekapcsolásával old meg összetett feladatokat.
A térbeli intelligencia szerepe
Míg a Magma is transzformer-alapú nagy nyelvi modellekre épül, a hagyományos látás-nyelv modellekkel szemben túlmutat a verbális intelligencián. A Microsoft állítása szerint a Magma valóban multimodális ügynök, amely képes egyaránt feldolgozni és értelmezni a képeket, videókat, robotikai adatokat és felhasználói felület interakciókat.
A Magma két kulcsfontosságú technikai elemet vezet be: a „Set-of-Mark” rendszert, amely interaktív elemeket azonosít, például kattintható gombokat vagy megfogható tárgyakat, valamint a „Trace-of-Mark” rendszert, amely mozgásmintákat tanul videós adatokból. Ezeknek a funkcióknak köszönhetően a modell képes például navigálni egy felhasználói felületen vagy irányítani egy robotkart, hogy tárgyakat mozgasson.
Teljesítmény és jövőbeli kilátások
A Magma teljesítménye ígéretes a különböző benchmark tesztek szerint. A vizuális kérdés-válasz teszten (VQAv2) 80,0 pontot ért el, ami jobb eredmény, mint a GPT-4V (77,2), de alacsonyabb, mint a LLaVA-Next (81,8) pontszáma. A POPE értékelési rendszeren a Magma 87,4 pontot ért el, ami az összes többi modell felett áll. A robotmanipulációs teszteken a Magma jobban teljesített, mint az OpenVLA, egy nyílt forráskódú látás-nyelv-akció modell. Ennek ellenére a Microsoft dokumentációja szerint a modellnek még vannak hiányosságai a komplex, több lépéses döntéshozatal terén, de folyamatos fejlesztés alatt áll.
A Microsoft tervei szerint a Magma képzési és következtetési kódját a következő héten nyilvánosságra hozzák a GitHubon, ami lehetővé teszi más kutatók számára is a továbbfejlesztését. Ha a Magma beváltja az ígéreteit, az új lehetőségeket nyithat a Microsoft MI-asszisztenseinek, lehetővé téve számukra, hogy ne csupán szöveges interakciókat folytassanak, hanem önállóan kezeljenek szoftvereket és végrehajtsanak valós világban zajló feladatokat is.
Az MI fejlődése egyre inkább az önállóan cselekvő rendszerek irányába halad. Míg néhány évvel ezelőtt még sokan aggódtak az MI autonómiájával kapcsolatos kockázatok miatt, ma már ezek a fejlesztések a kutatás és az ipar természetes részét képezik, és a Microsoft Magma projektje is ezt a trendet erősíti.
