A Meta Platforms az elmúlt héten Kaliforniában tartott éves „Meta Connect” rendezvényén számos új, MI-alapú funkciót mutatott be népszerű alkalmazásaihoz, például a Facebookhoz, az Instagramhoz és a WhatsApphoz, de a közösségi médiaóriás leglenyűgözőbb újítása sokak számára észrevétlen maradt.
A Meta kutatócsoportja csendben közzétett egy tanulmányt, amelyben bemutatta a Llama 2 Longot, egy új MI-modellt, amely képes összefüggő és releváns válaszokat generálni a hosszú felhasználói lekérdezésekre, és ezzel felülmúlja a legjobb versenytársak egy részét. A Llama 2 Long a Meta által nyáron kiadott Llama 2 nyílt forráskódú mesterségesintelligencia-modell kiterjesztése, amely különböző adatforrásokból képes tanulni, és többféle feladatot, például kódolást, matematikai példákat is képes elvégezni., továbbá sokat javult a nyelvek megértésében, a „józan paraszti észt” igénylő és társalgási készségek terén.
A Llama 2 Long modelt hosszabb szövegeket tartalmazó adatokon tanították be, és úgy lett módosították, hogy hosszabb információsorozatokat tudjon kezelni. Ez lehetővé teszi, hogy felülmúljon más modelleket, mint például az OpenAI GPT-3.5 Turbo és a Claude 2, amelyek korlátokkal rendelkeznek a válaszok generálásához felhasználható kontextus mennyiségét illetően.
Hogyan működik a Llama 2 Long?
A Meta kutatói a Llama 2 különböző, 7 –70 milliárd paraméter közötti méretű verzióit használták , ezek az értékek, amelyeket a mesterségesintelligencia-modell az adatokból való tanulás során módosítani tud. További 400 milliárd token (szövegegység) adatot adtak hozzá, amelyek hosszabb szövegeket tartalmaztak, mint az eredeti Llama 2 adathalmaz.
A Llama 2 architektúráját is kissé átalakították, megváltoztatva azt a módot, ahogyan az egyes tokenek pozícióját kódolja a szekvenciában. A Rotary Positional Embedding (RoPE, „kötél” ) nevű technikát alkalmazták, amely minden tokent egy pontra képez le egy 3D-s grafikonon, amely még elforgatva is megmutatja a többi tokenhez való viszonyát. Ez segít a modellnek abban, hogy más módszerekhez képest kevesebb információval és memóriával pontos és hasznos válaszokat adjon. A RoPE-kódolás forgási szögét Llama 2-ről Llama 2 Long-ra csökkentették, ami lehetővé tette számukra, hogy több olyan tokent vegyenek fel a modell tudásbázisába, amelyek egymástól távol vagy ritkábban fordulnak elő.
Humán megerősítés
Emellett az emberi visszajelzésekből való megerősített tanulást (reinforcement learning from human feedback, RLHF), azaz egy olyan módszert alkalmaztak, amelyben a mesterségesintelligencia-modellt a helyes válaszokért jutalmazzák, és emberi értékelők javítják, valamint maga a Llama 2 chat által generált szintetikus adatokat is felhasználták, hogy javítsák a modell teljesítményét különböző feladatokban.
A tanulmány állítása szerint a Llama 2 Long akár 200 ezer karakter hosszúságú, azaz körülbelül 40 oldalnyi szövegnek megfelelő minőségű válaszokat is képes generálni a felhasználói kérésekre. A tanulmány példákat mutat be a Llama 2 Long által olyan témájú lekérdezésekre adott válaszokra, mint a történelem, a tudomány, az irodalom és a sport. A kutatók szerint a Llama 2 Long egy lépés az általánosabb és sokoldalúbb mesterségesintelligencia-modellek létrehozása felé, amelyek képesek kezelni az összetett és változatos felhasználói igényeket. Elismerik az ilyen modellek lehetséges etikai és társadalmi következményeit is, és további kutatásokat és párbeszédet sürgetnek arról, hogyan lehet ezeket felelősségteljesen és előnyösen használni.
