A nagy techcégek évek óta törekednek a nagy teljesítményű AI-modellek futtatására edge eszközökön, például telefonokon. Az okostelefonok viszonylag szűkös erőforrásai azonban mindeddig komoly kihívásokat jelentettek. A Gemini Nano és a Tensor G5 chip kombinációja lehet a megoldás, szilárd alapot adva a Google-nak a végkészülékeken futó MI határainak feszegetéséhez, az Android feletti kontroll pedig óriási piacot biztosít a cég modelljeinek népszerűsítéséhez.
◼︎ Nano a peremvidékeken
A készüléken futtatható (on-device) modellváltozatként pozícionált Gemini Nano, a Gemini család „legkisebb” tagja szűkebb erőforrások mellett is masszív nyelvi, multimodális képességekkel segíti a felhasználót, míg a Tensor G5 az on-device AI gyorsítására és a hatékonyabb energiafelhasználásra összpontosít.
Az Android feletti kontrollal, az Android-Pixel ökoszisztémával és a Google Play Pixel Store-jával az óriásvállalatnak lehetőségében áll az új edge megoldások gyors terjesztése, és felsejlik a modellek és szolgáltatások széleskörű használata. A gyártók (Apple, Google, Meta, Microsoft, Samsung) versenyét az nyeri meg, aki jobb fejlesztői eszközökkel, hatékonyabb modellekkel és nagyobb terjesztési lehetőségekkel rendelkezik – ebben a versenyben pedig a Google-nak jó esélyei vannak.
Modell és hardver
A Nanót eredetileg főként szöveges feladatokra optimalizálták, mára viszont több multimodális képességgel (képértéssel, képalapú kereséssel, képernyőkép- és hang elemzéssel stb.) gyarapodott. Mivel a modell ott fut – a készüléken –, ahol az adat van, nincs vagy minimális a késleltetés, javul az adatvédelem, csak a valóban szükséges információkat kell a felhőbe küldeni. Az offline működés – sok funkciónak nincs szüksége hálózatra – szintén fontos biztonsági és energetikai szempont.
A Pixel 10-re fejlesztett Tensor G5 különösen CPU-teljesítményben komoly előrelépés a G4-hez képest, GPU-teljesítményéről azonban megoszlanak a vélemények. A mesterséges intelligenciánál pedig olyan tényezők is számítanak, mint a memória. Bizonyos mennyiségű RAM-mal ugyan legyőzi a Samsung-chipeket, de a Qualcomm eszközeitől egyelőre elmarad. Mivel hatékonyabb, 3 nanométeres gyártási technológiával készült, javult az energiahasználata. Jobban bírja a terhelést, kevesebb a melegedés miatti teljesítmény-csökkenés, ami kiemelten fontos, ha az AI-feladatok hosszabb ideig tartanak.
Szoftveres környezet
A mobil/edge eszközök korlátozott teljesítménye és akkumulátora megkívánja az AI-hardver neurális és tenzor feldolgozóegységekkel (NPU-val és TPU-val) történő gyorsítását, a hardver és szoftver gördülékeny együttműködését és a szoftver-, a memória- és tárhely-optimalizálást. A Google saját chipjének és modelljének összekombinálása pontosan ezt a célt szolgálja. Az Androidon és a Pixelen keresztül megvalósuló, készüléken futtatható funkciók, például a valós idejű asszisztencia vagy a fénykép-feldolgozás pedig komoly piaci előnyt adnak. A közeljövőben egyre több ilyen – a peremre optimalizált – funkció jelenik meg.
| Mire lehet használni?
– Üzenetek és kontextus-függő válaszok – Összegzés és emlékeztető – Esemény előrejelzése – Képernyőn megjelenő információk felismerése |
A szoftverinfrastruktúra az AICore-ból, az AIEdge fejlesztői eszközkészletből, gépitanulás-csomagból és GenAI API-kből áll. Az AICore az on-device alapmodellek futtatását, kezelését, biztonságos működésüket és a hardver hatékony használatát támogatja. A fejlesztői eszközkészlet a testreszabást, a paraméterek szabályozását, és a kisebb finomhangolásokat biztosítja. A gépitanulás-csomaggal komoly szakértelem nélkül építhetők magasabb szintű funkciók az alkalmazásokba. Az API-k szintén a készüléken futnak, így az adatok a telefonon maradnak.
A proaktív mesterséges intelligencia előnyei
A tipikus on-device modellnek készült Gemini Nano és a Tensor G5 együttműködése késleltetésmentes új funkciókat tesz lehetővé, amelyek közül a proaktív AI lehet a legfontosabb.
A hagyományos asszisztensek (mint a Siri vagy a Google Assistant) reaktívak, csak kérdésre, kérésre válaszolnak. Ezzel szemben a proaktív AI előre látja a felhasználó szándékát, a kontextust, ismeri a szokásait. Automatikus javaslatokat tesz, például „indulj el tíz perccel korábban, mert dugó van a szokásos útvonalon”. A környezetre, értesítésekre, naptárra, helyre, a képernyőn megjelenő tartalmakra valós időben reagál: érti a szöveget, elemzi a kontextust, például üzenet alapján felismeri a teendőt, természetes nyelven folytat interakciókat, a felhasználói mintákból azonosít érzelmeket és szándékokat. A Gemini Nano Pixel 9-en és 10-en felhőkapcsolat nélkül is automatikusan összegzi az értesítéseket, válaszjavaslatokkal áll elő, felismer és multimodálisan értelmez képeket, például észreveszi egy fotón, hogy az egy bizonylat.
Kontextusból is ért
A sikeres munkavégzéshez azonban rengeteg adatot kell helyileg, késleltetés és adatküldés nélkül feldolgoznia, amit kis nyelvi modellek segítségével tesz meg. Az eszközön futó komponens gyűjti a legutóbbi aktivitásokat (használt appok, üzenetek, helyadatok), a felhasználó rutinjait (mikor mit csinált) és a pillanatnyi állapot jellemzőit: dátumot és teendőket, akkumulátor töltöttségi szintjét, hálózati kapcsolatot.
Az AI ezeket az információkat „szerkesztett kontextusként” kapja meg, ezekből „tudja”, mikor mi releváns anélkül, hogy személyes adatot küldene a felhőbe. A célzottan optimalizált NPU-k gyorsítják a következtetést, csökkentik az energiafogyasztást, biztosítják a valósidejű, akár offline asszisztenciát. Ha a feladat túl nagy a helyi modellnek, nincs elég kapacitása hozzá, akkor – hibrid architektúrában – a felhőbe tölti fel, ahol a Gemini Pro megoldja azt.
Persze a riválisok sem tétlenkedtek. Ők olyan proaktív funkciókkal álltak elő, mint a személyre szabott javaslatok, az írás segítése az Apple Intelligence neurális motorjával; a Meta AI kontextus-érzékelése és vizuális kérdés-felelete; a dokumentumok, e-mailek és tevékenységek helyszíni elemzése (Microsoft); vagy az élő fordítás, hívásösszegzés, előzetes kameramódosítás (Samsung).
