A generatív mesterséges intelligencia revolúció, amelyet az olyan eszközök, mint a ChatGPT, a Midjourney és sok más eszköz testesítenek meg, alapvetően egy egyszerű képleten alapul: végy egy nagyon nagy neurális hálózatot, képezd ki egy hatalmas, a világhálóról származó adathalmazon, majd használd fel a felhasználói kérések széles körének teljesítésére. A nagyméretű nyelvi modellek (LLM-k) képesek kérdésekre válaszolni, kódot írni és verseket ontani, míg a képgeneráló rendszerek meggyőző barlangfestményeket vagy kortárs művészeti alkotásokat hozhatnak létre.
Miért nem váltak ezek a csodálatos mesterséges intelligencia képességek olyan hasznos és széles körben használható robotokká, amilyeneket a sci-fikben láttunk? Hol vannak azok a robotok, amelyek képesek letakarítani az asztalt, összehajtogatni a szennyest, és reggelit készíteni?
Sajnos, a rendkívül sikeres, generatív mesterséges intelligencia képletét – nagy modellek, amelyeket rengeteg internetről származó adaton képeztek ki – nem könnyű átvinni a robotikába, mivel az internet nincs tele robotinterakciós adatokkal, ahogy tele van szövegekkel és képekkel. A robotoknak robotadatokra van szükségük a tanuláshoz, és ezeket az adatokat jellemzően lassan és fáradságosan hozzák létre a kutatók laboratóriumi környezetben, nagyon specifikus feladatokhoz. A robottanulási algoritmusok terén elért óriási fejlődés ellenére bőséges adatok nélkül még mindig nem tudjuk képessé tenni a robotokat arra, hogy a laboratóriumon kívül valós feladatokat hajtsanak végre, például reggelit készítsenek. A leglenyűgözőbb eredmények jellemzően csak egyetlen laboratóriumban, egyetlen roboton működnek, és gyakran csak néhány viselkedési formát tartalmaznak.
Ha az egyes robotok képességeit korlátozza az az idő és erőfeszítés, amit egy új feladat kézzel történő megtanítása igényel, mi lenne, ha sok robot tapasztalatait egyesítenénk, hogy egy új robot egyszerre tanulhasson mindannyiuktól? Egy csapat úgy döntött, hogy megpróbálja. 2023-ban a Google és a Berkeley-i Kaliforniai Egyetem laboratóriumai 32 másik észak-amerikai, európai és ázsiai robotikai laboratóriummal közösen vállalták az RT-X projektet, amelynek célja az adatok, erőforrások és kódok összegyűjtése volt, hogy az általános célú robotok valósággá váljanak.
Hogyan hozzunk létre egy általános célú robotot?
Az emberek sokkal jobbak ebben a fajta tanulásban. Az agyunk egy kis gyakorlással képes kezelni a testtervünkben bekövetkező alapvető változásokat, amelyek akkor történnek, amikor felveszünk egy szerszámot, biciklire ülünk vagy autóba ülünk. Vagyis a „megtestesülésünk” megváltozik, de az agyunk alkalmazkodik. Az RT-X valami hasonlót szeretne elérni a robotok esetében: lehetővé tenni, hogy egyetlen mély neurális hálózat több különböző típusú robotot irányíthasson, ezt a képességet nevezzük „cross-embodimentnek”. A kérdés az, hogy egy kellően nagyszámú különböző robot adatain kiképzett mély neurális hálózat képes-e megtanulni mindegyiket irányítani – még a nagyon eltérő megjelenésű, fizikai tulajdonságú és képességű robotokat is. Ha igen, akkor ez a megközelítés potenciálisan felszabadíthatja a nagy adathalmazok erejét a robottanulás számára.
A projekt léptéke nagyon nagy, mert annak kell lennie. Az RT-X adathalmaz jelenleg közel egymillió robotkísérletet tartalmaz 22 robottípushoz, köztük a piacon leggyakrabban használt robotkarok közül sokhoz. Az ebben az adathalmazban szereplő robotok a viselkedések hatalmas skáláját hajtják végre, beleértve a tárgyak felszedését és elhelyezését, az összeszerelést és az olyan speciális feladatokat, mint a kábelvezetés. Összesen mintegy 500 különböző készség és több ezer különböző tárggyal való interakció található. Ez a létező legnagyobb nyílt forráskódú adathalmaz, amely valódi robotok műveleteit tartalmazza.
Meglepő módon azt találták, hogy a többrobotos adatok viszonylag egyszerű gépi tanulási módszerekkel is felhasználhatók, feltéve, hogy követik a receptet, miszerint nagy neurális hálózatos modelleket szükséges használni nagy adathalmazokkal. A jelenlegi LLM-ekben, például a ChatGPT-ben használt ugyanolyan típusú modelleket alkalmazva olyan robotvezérlő algoritmusokat tudtak betanítani, amelyek nem igényelnek semmilyen speciális jellemzőt a keresztbeépítéshez. Hasonlóan ahhoz, ahogyan egy ember ugyanannak az agynak a segítségével autót vezethet vagy kerékpározhat, az RT-X adathalmazon kiképzett modell egyszerűen felismeri, hogy milyen robotot irányít, abból, amit a robot saját kamerafigyeléseiben lát. Ha a robot kamerája egy UR10 ipari kart lát, a modell az UR10-nek megfelelő parancsokat küld. Ha a modell ehelyett egy olcsó WidowX hobbikart lát, a modell ennek megfelelően mozgatja azt.
A modell képességeinek tesztelésére az RT-X együttműködésben részt vevő öt laboratórium mindegyike tesztelte a modellt a saját robotjaikhoz önállóan kifejlesztett, legjobb vezérlőrendszerrel való összehasonlításban. Minden laboratórium tesztje a saját kutatásaihoz használt feladatokat tartalmazta, amelyek között olyan dolgok szerepeltek, mint tárgyak felvétele és mozgatása, ajtók nyitása és kábelek átvezetése kapcsokon. Figyelemre méltó, hogy az egyetlen egységes modell jobb teljesítményt nyújtott, mint az egyes laboratóriumok saját legjobb módszere, átlagosan 50 százalékkal gyakrabban teljesítette sikeresen a feladatokat.
Bár ez az eredmény meglepőnek tűnhet, az RT-X vezérlő képes kihasználni más robotok eltérő tapasztalatait, hogy javítsa a robusztusságot a különböző beállításokban. Még ugyanazon a laboratóriumon belül is minden alkalommal, amikor egy robot megpróbál egy feladatot, kissé eltérő helyzetben találja magát, így a más robotok más helyzetekben szerzett tapasztalatainak felhasználása segített az RT-X vezérlőnek a természetes változékonyság és az éles esetek kezelésében.
Olyan robotok építése, amelyek képesek érvelni
A számos robottípusból származó adatok kombinálásával elért sikereken felbátorodva megvizsgálták, hogyan lehet ezeket az adatokat egy mélyebb érvelési képességekkel rendelkező rendszerbe beépíteni. Az összetett szemantikai következtetéseket nehéz megtanulni pusztán a robotok adataiból. Míg a robotadatok számos fizikai képességet biztosíthatnak, az olyan összetettebb feladatok, mint a „mozgasd az almát a konzervdoboz és a narancs közé!”, a képen lévő objektumok közötti szemantikai kapcsolatok megértését, alapvető józan ész és más szimbolikus tudás megértését is igénylik, amelyek nem kapcsolódnak közvetlenül a robot fizikai képességeihez.
Ezért úgy döntöttek, hogy egy újabb hatalmas adatforrást adnak hozzá a keverékhez: internetes méretű kép- és szövegadatokat. Egy meglévő nagyméretű látás-nyelvi modellt használtak, amely már számos olyan feladatban jártas, amelyhez a természetes nyelv és a képek közötti kapcsolat bizonyos fokú megértése szükséges. A modell hasonlít a nyilvánosság számára elérhető modellekhez, amilyen például a ChatGPT vagy a Bard. Ezeket a modelleket arra képezték ki, hogy képeket tartalmazó kérésekre válaszul szöveget adjanak ki, így olyan problémák megoldására is alkalmasak, mint a vizuális kérdések megválaszolása, feliratozás és más, nyílt végű vizuális megértési feladatok. Felfedezték, hogy az ilyen modellek robotvezérlésre is adaptálhatók, egyszerűen úgy, hogy robotparancsként megfogalmazott felszólításokra (például „tedd a banánt a tányérra!”) válaszul robotakciókat is kiadnak. Ezt a megközelítést alkalmazták az RT-X együttműködés robotikai adataira.
Az interneten szerzett tudás és a több robotra vonatkozó adatok kombinációjának értékeléséhez az RT-X modellt a Google mobil manipulátor robotjával tesztelték. A robotnak tárgyakat kellett felismernie és sikeresen manipulálnia, valamint komplex szöveges parancsokra kellett válaszolnia logikai következtetések levonásával, amihez a szövegből és a képekből származó információk integrálására volt szükség. Ez utóbbi az egyik dolog, ami az embert olyan jó generalistává teszi.
Két értékelési sorozatot végeztek. Alapként egy olyan modellt használtak, amely kizárta az összes olyan általánosított, több robotot tartalmazó RT-X adatot, amelyben nem szerepelt a Google robotja. A Google robot-specifikus adathalmaz valójában a legnagyobb része az RT-X adathalmaznak, több mint 100 ezer demonstrációval, így nagyon is nyitott volt a kérdés, hogy az összes többi multirobotos adat valóban segít-e ebben az esetben. Ezután újra megpróbálták az összes ilyen multirobot-adattal együtt.
Az egyik legnehezebb kiértékelési forgatókönyvben a Google robotnak olyan feladatot kellett megoldania, amely térbeli kapcsolatokról való gondolkodást tartalmazott; egy másik feladatban pedig kezdetleges matematikai feladatokat kellett megoldania. Ezek a feladatok az érvelés és a következtetések levonásának alapvető képességeit voltak hivatottak tesztelni.
Ebben az esetben a következtetési képességek a látás-nyelvi modell képzésébe bevont webes léptékű adatmennyiségből származnak, míg a képesség, hogy a következtetési kimeneteket robotviselkedésekben – a robotkart ténylegesen a megfelelő irányba mozgató parancsokban – alapozza meg, az RT-X-ről származó, testek közötti robotadatokon végzett képzésből származik.
Az alábbi videón egy olyan kiértékelés példája látható, amikor a robotot olyan feladat elvégzésére kérték, amely nem szerepelt a képzési adatok között.
Ez a Google kutatórobot különösebb képzés nélkül is képes követni a „mozdítsd az almát a konzervdoboz és a narancs közé” utasítást. Ezt a képességet az RT-X teszi lehetővé, amely egy nagy robotmanipulációs adathalmaz és az első lépés az általános robotagy felé.
Míg ezek a feladatok az ember számára kezdetlegesek, az általános célú robotok számára komoly kihívást jelentenek. Olyan robotbemutató adatok nélkül, amelyek egyértelműen szemléltetik az olyan fogalmakat, mint a „között, közel, tetején”, még egy sok különböző robot adatain betanított rendszer sem lenne képes kitalálni, hogy mit jelentenek ezek a parancsok. A látás-nyelvi modellből származó webes szintű tudás integrálásával a teljes rendszer képes volt ilyen feladatok megoldására, a szemantikai fogalmakat (ebben az esetben a térbeli viszonyokat) internetes szintű képzésből, a fizikai viselkedéseket (tárgyak felvétele és mozgatása) pedig több robot RT-X adataiból származtatva. A multirobot adatok bevonása háromszorosára javította a Google robot általánosítási képességét az ilyen feladatokra. Ez az eredmény arra utal, hogy a multirobot RT-X adatok nemcsak a különféle fizikai készségek elsajátításában voltak hasznosak, hanem segíthetnek abban is, hogy az ilyen készségeket jobban összekapcsolják a látás-nyelvi modellek szemantikai és szimbolikus tudásával. Ezek a kapcsolatok bizonyos fokú józan észhez juttatják a robotot, ami egy napon képessé teheti a robotokat arra, hogy megértsék az olyan összetett és árnyalt felhasználói parancsok jelentését, mint például a „hozd ide a reggelimet!”, miközben végrehajtják az azt megvalósító műveleteket.
Az RT-X következő lépései
Az RT-X projekt megmutatja, hogy mi minden lehetséges, ha a robot-tanuló közösség közösen lép fel. Ennek az intézményközi erőfeszítésnek köszönhetően össze tudtak állítani egy sokszínű robotadathalmazt, és olyan átfogó, több robotra kiterjedő értékeléseket tudtak végezni, amelyek egyetlen intézményben sem lennének lehetségesek. Mivel a robotikai közösség nem hagyatkozhat arra, hogy az internetről szerezzen képzési adatokat, ezeket az adatokat maguknak kell előállítanunk.
A korai eredmények arra utalnak, hogy a nagyméretű robotikai modellek hogyan alakíthatják át a területet. Ahogyan a nagy nyelvi modellek a nyelvi alapú feladatok széles skáláját elsajátították, a jövőben ugyanezt az alapmodellt használhatják számos valós robotikai feladat alapjaként. Talán új robotikai készségek válhatnak lehetővé egy előzetesen betanított alapmodell finomhangolásával vagy akár ösztönzésével. Hasonlóan ahhoz, ahogyan a ChatGPT-t is felkérhetjük egy történet elmesélésére anélkül, hogy előzetesen betanítanánk az adott történetre, megkérhetnénk egy robotot, hogy írja a „Boldog születésnapot” egy tortára anélkül, hogy meg kellene neki mondani, hogyan kell használni a pipettatartót, vagy hogy milyen a kézzel írt szöveg. Természetesen sokkal több kutatásra van szükség ahhoz, hogy ezek a modellek ilyen általános képességekkel rendelkezzenek, mivel ezek a kísérletek egyszerű manipulációs feladatokat végző, kétujjas markolókkal ellátott egykarú robotokra összpontosítottak.
Ahogy több laboratórium is részt vesz az „embodimentek” közötti kutatásban, remélik, hogy tovább tudják feszegetni a határokat azzal kapcsolatban, hogy mi lehetséges egyetlen neurális hálózattal, amely több robotot is képes irányítani. Ezek az előrelépések magukban foglalhatják a generált környezetekből származó különféle szimulált adatok hozzáadását, a különböző számú karral vagy ujjal rendelkező robotok kezelését, különböző érzékelőkészletek (például mélységkamerák és tapintásérzékelés) használatát, sőt a manipulációs és mozgásviselkedések kombinálását is. Az RT-X megnyitotta az utat az ilyen munkák előtt, de a legizgalmasabb technikai fejlesztések még előttük állnak.
(forrás)
