Az utóbbi években a mesterséges intelligencia, különösen a generatív MI fejlesztése annyira felpörgött, hogy a robotika nem tudja követni ezt a tempót, pedig a két terület hagyományosan sok szállal kapcsolódik egymáshoz. Hamarosan azonban ezen a téren is eljöhet az áttörés a fizikai világot leképező és újrateremtő modellek révén, ami nagy lökést adhat az önvezető járművek fejlesztésének.
◼︎ Élethű környezetet szimulál a Cosmos
A nagy nyelvi modelleknek viszonylag könnyű a dolguk: a betanításukhoz használt szöveges információ nagy mennyiségben rendelkezésre áll (bár már ez is fogyóban van), és az általuk adott válaszok ellenőrzésére is van idő (többnyire). Más a helyzet, ha a modell célja a világ működésének realisztikus szimulációja, fizikailag hiteles videók és valóságállapotok létrehozása, például önvezető járművek, logisztikai és gyártási robotok számára. Ilyen környezetekben a döntéseket a pillanat tört része alatt kell meghozni, a hibázás pedig súlyos következményekkel járhat.
A robotoknál és önvezető járműveknél ezért is alapkövetelmény az előzetes gyakorlás, a világ fizikájának ismerete, a környezeti változások előrejelzésének és az arra adott reagálásnak a készsége, mert csak így működhetnek biztonságosan és hatékonyan. A való világban sok esetben csak komoly nehézségekkel és költségekkel oldható meg a szükséges gyakorlás, ezért a fizikai mesterségesintelligencia-rendszerek betanításában kulcsfontosságú a szimuláció. Ez lehetővé teszi, hogy a rendszerek virtuális környezetben gyakorolhassanak, mielőtt először kapcsolatba lépnének a való világgal, és már a tényleges megmérettetés előtt rendelkezzenek kamatoztatható tapasztalatokkal, ismeretekkel – vagyis rutinnal.
Célkeresztben az önvezető járművek
A fent említett szimulációk létrehozásában és a fizikai MI-rendszerek betanításában hozhat áttörést az Nvidia nyílt forráskódú Cosmos platformja, amelyet idén januárban mutatott be a gyártó. A Cosmos alapmodelleket elsősorban robotok és önvezető járművek fejlesztéséhez készítették, de más MI-alapú gépek létrehozásához is használhatók, és a mai követelményeknek megfelelően multimodális jellegűek. A szintetikus adatok élethűségét az Nvidia Omniverse platformjával összetársítva, az azon fejlesztett, ellenőrzött háromdimenziós forgatókönyvek garantálják.
| A robotika ChatGPT-pillanata?
Jensen Huang, az Nvidia alapító-vezérigazgatója a Cosmos platform kapcsán elmondta, hogy közeleg a „robotika ChatGPT-pillanata” – ez ahhoz hasonló áttörés lesz, mint volt a generatív mesterséges intelligenciában 2022. november 30., amikor az OpenAI közkinccsé tette a ChatGPT-t. Huang szerint a nagy nyelvi modelleknek a szövegalapú MI fejlődésében betöltött szerepéhez hasonlóan, a fizikai világot leképező alapmodellek a robotika és az önvezető járművek további fejlődésében lesznek kulcsfontosságúak. A mindenki számára elérhető, általános Cosmos demokratizálhatja a fizikai mesterséges intelligencia fejlesztését. Rengeteget segíthet a szükséges szakértelemmel és erőforrásokkal nem rendelkező, modelljeiket mégis saját maguk gyakoroltató fejlesztőknek. Magát a „ChatGPT-pillanat” kifejezést nem Huang használta először robotikai kontextusban, például a bonyolultabb házi munkáinkat helyettünk, tőlünk függetlenül, autonóm módon elvégző robotok megjelenését is értik rajta. |
A Cosmos több összetevőből áll. Ezek között vannak a szövegek és videók alapján a „világot” megalkotó, legfrissebb generatív alapmodellek; a szövegeket, képeket és videókat az MI számára könnyen feldolgozhatóvá tevő vizuális tokenizálók (ezek a használatban lévőknél nyolcszor nagyobb tömörítést és tizenkétszer gyorsabb feldolgozást kínálnak); valamint a videófeldolgozást áramvonalasító és biztonságos felhasználást garantáló egyéb megoldások. A modellek a robotikusok és önvezető járműveket fejlesztő közösségek munkáját támogató nyílt licenc alatt lesznek elérhetők.
Felkészülés szimulált környezetben
Az Nvidia modellje által generált „fizikatudatos” videók szintetikus adatfolyamai pontosan szimulálják az információintenzív valóság működését, dinamikáját, például a különféle objektumok interakcióit, erőkifejtését, mozgását és más fizikai jellemzőit. Ennek révén a fizikai mesterségesintelligencia-rendszerek számára egyszerűbb lesz a navigáció és más feladatok végrehajtásának elsajátítása.
Minél élethűbb a szimuláció, annál nagyobb esély van a jó eredményre. Ugyanakkor a Cosmos szimulációs lehetőségei más szempontból is előnyösek: például a valós fizikai környezetben történő gyakorlás költséges és kockázatos, tehát amíg lehetséges, jobb várni vele. A platformmal kiváltható a robotok és önvezető járművek fejlesztéséhez szükséges nagy mennyiségű, a való világból származó adat és tesztelés – ezzel pedig súlyos dollár(tíz)ezrek takaríthatók meg.
A Cosmos az MI- és mélytanuló modelljeinek köszönhetően tanul a szimulált, de a fizika törvényeit hűen követő környezetekből és forgatókönyvekből. Az ilyen gyakorlás révén az MI-rendszerek jobban megértik a komplex közegeket. A mélytanulás-aspektus megkerülhetetlen, máskülönben a trenírozott robot vagy önvezető jármű pontatlanabb lenne, nehezebben alkalmazkodna és nagyobb biztonsági kockázatot jelentene mind maga, mind környezete számára.
Teret kap a fejlesztői kreativitás
Mivel a platform nyílt, a fejlesztők célalkalmazásaiknak megfelelően változatos adatkészletekkel – például közutakon navigáló járművek vagy polcokon rakodó robotok videófelvételeivel – szabhatják testre a világot leképező alapmodelleket, finomhangolásukkal pedig egyedi saját modelleket is készíthetnek, építhetnek rájuk.
Ehhez persze irdatlan számítási kapacitás szükséges, és az Nvidia alighanem számít arra, hogy központi szerephez jutnak az általa fejlesztett célprocesszorok, GPU-k, például az A100 Tensor Core GPU. A fizikai közegben működő rendszerek esetében ugyanis petabájtnyi videóadatot és több tízezer számítási órát igényel az adatok feldolgozása, gondozása és címkézése. Közismert probléma, hogy egyelőre nagyon kevés a használható adat a robotkörnyezetekben való sikeres tanuláshoz. Ezeket ráadásul nehezebb összegyűjteni, mint a szövegeseket, több a specifikáció, kisebb a választék, így a szintetikus adatok minősége fontos szempont.
A hardver a nagy adatkészletek feldolgozásával és összetett szimulációk futtatásával teszi lehetővé a gyorsabb iterációkat, az MI viselkedésének folyamatos javítását. Tizennégy nap alatt húszmillió óra videó dolgozható fel – állítja az Nvidia. Összehasonlításként, csak CPU-alapú folyamatokkal három évig is eltartana ugyanez.
Ugyanakkor a Cosmos maximálisan kiaknázza a felhőinfrastruktúra adta lehetőségeket a hatalmas adatmennyiség és a szimuláció méretezésére, kezelésére. Az Nvidia felhőszolgáltatásaival a platform teljesítménye helyi hardverszükséglet nélkül használható ki, amivel további változatos alkalmazások számára skálázhatóbb és elérhetőbb.
Irány a fizikai valóság
A Cosmos óriási adatmennyiségeket (szimulációkból származó szintetikus, valamint szenzorokkal és más eszközökkel begyűjtött valós adatokat) képes mesterségesintelligencia-rendszerek gyakoroltatásához generálni. Ezek alapján kínál változatos tanulási forgatókönyveket nagyon konkrét esetekkel, például havas útviszonyokkal vagy raktári torlódásokkal.
A platform egyik különleges funkciójával, az úgynevezett multiverzum-szimulációval a Cosmos az összes lehetséges jövőbeli eredményt előállítja; ezeket az MI-modell olyan kifejezetten praktikus célokra használhatja fel, mint például az adott pillanatban legjobbnak tűnő és legpontosabb útvonal kiválasztása.
Miután a modellek már eleget gyakoroltak, sor kerülhet működésük kiértékelésére, finomhangolására. A Cosmos nemcsak erre, hanem a teljesítmény tesztelésére és hitelesítésére is kínál mechanizmusokat; ez lehet a garancia a fizikai alkalmazásokban történő biztonságos telepítésre. A fejlesztők hangsúlyozzák: a modellek arra készültek, hogy változatos inputokból – szövegek, képek, videók, szenzoros és mozgásadatok különféle kombinációiból – jó minőségben generáljanak fizikai alapú interakciókat vagy szimulált ipari, raktári vagy változatos vezetési környezeteket.
Kikből lesznek a felhasználók?
A platform a világ számos nagyvállalatának érdeklődését felkeltette, többen máris adoptálták. Egyelőre nem áll rendelkezésre az első ügyfelek pontos listája, az alkalmazók inkább csak valószínűsíthetők.
Első csoportjuk az önvezető járművek gyártói lehetnek: az Nvidia például olyan nagyágyúkkal dolgozik együtt, mint a Mercedes-Benz. A Tesla ugyan saját MI-t fejleszt, és szimulációs megoldásokat is kidolgozott, de a nagyvállalat régóta Nvidia-partner a GPU-gyártásban. A Cosmos szimulációit az autonóm vezetési rendszerek tréningjének javítására használhatják.
| A GenAI a mobilitást is megváltoztatja
A generatív mesterséges intelligencia is komoly hatással lesz a mobilitásra, például a közlekedési rendszerek tervezésében, működtetésében és a velük folytatott interakciókban. A komplex és dinamikus környezetek jobb megértésével, sokféle vezetési forgatókönyv szimulálásával javítja az önvezető járművek döntéshozatali képességeit, a generatív gyakorlás-szimulációkkal pedig erősíti a biztonságot. Valós idejű minták kimutatásával, a torlódások előrejelzésével optimalizálhatja a forgalmat, útvonal-optimalizálási algoritmusokkal segítheti az autósok útvonaltervezését. Személyes preferenciáinkat, szokásainkat és igényeinket elemezve egyénre szabhatja az utazási élményt, a hatékonyabb algoritmusokkal az Uber és a Lyft-típusú szolgáltatók munkáját könnyítheti meg, segítve a felhasználókat, azaz az utasokat is. |
Az autonóm vezetéshez MI-modelleket fejlesztő Wayve szerint a platform kifejezetten hasznos olyan szcenáriók (például a kanyarodás) kialakításában, amelyek a biztonságot növelik. Az Uber is együtt dolgozik az Nvidiával az autonóm mobilitás felpörgetésén: előbbi masszív vezetési adatkészletei és a Cosmos platform ideális kombinációnak tűnik.
A második csoportot a robotikában érdekelt cégek alkotják. Az ABB az ipari robotrendszerek valósághű szimulációjához használhatja fel, a Boston Dynamics pedig autonóm robotjai navigációs készségét fejlesztheti vele, miközben a robotok objektumokkal folytatott interakcióit javító komplex környezeteket is szimulálhat a Cosmos használatával. Szintén potenciális ügyfél a Figure AI, az Agile Robots vagy a Neura Robotics.
Jól jöhet a Cosmos a repülő- és űriparnak, illetve a védelmi szektornak is. A Lockheed Martin például drónok és más MI-vezérlésű repülőgép-rendszerek környezetének szimulálására, a kifejezetten védelemmel foglalkozó Raytheon Technologies pedig katonai alkalmazásokhoz, prediktív karbantartó rendszerekhez használhatja a rendszert.
Ugyancsak érdekeltek lehetnek a platform használatában a logisztikai és beszállítói lánc szereplői, az okosváros-projekteken és a kapcsolódó infrastruktúrán dolgozó vállalatok, vagy akár az MI-startupok és kutatóintézetek.
