Érdekes és ellentmondásos kutatás látott napvilágot a „butuló” ChatGPT-ről, amelynek nyomán parázs vita robbant ki az egyenlőre még nem is pontosan azonosított jelenség okairól. Az indulatok miatt a területre irányuló reflektorfény világosan megmutatta: fogalmunk sincs, mi van, és mi történik pontosan a generatív nyelvi modellek „fekete dobozában”.
Éveknek tűnhet, de csupán idén márciusban vált hozzáférhetővé az OpenAI nagy generatív nyelvi modellje, a GPT-4. Az alábbi vitás kérdések megértésében kulcsfontosságú, hogy megkülönböztessük a tényeket a véleményektől, jöjjön tehát az első két tény:
Ez a friss modell márciusban jó eredményt ért el a prímszámok azonosításában. Egy 500 számból álló sorozatból 97,6 százalékos gyakorisággal határozta meg a prímszámokat. A teszteket júniusban is lefuttatták, ám ekkor a GPT-4 már csak a prímszámok 2,4 százalékát volt képes azonosítani.
A dolog természetesen felbolydította az MI kutató és tesztelő közösségét, valamint az eredményeikről beszámoló kommunikációs szakmát is. Bár a komplex kérdésekre adható gyors és egyszerű válasz ritkán pontos és megalapozott (lásd: termelési háromszög), hamar megszületett a válasz és legyen ez egyben az első vélemény:
Butul a ChatGPT, nem tesz jót neki a fejlesztők javító igyekezete, az emberekkel való csevegés, vagy ki tudja mi minden más, összefoglalva talán az, hogy bekapcsoljuk és nem hagyjuk nyugalomban pihenni.
A sommás verdikt mögött egy MI-vel szemben (és talán bármely, újonnan megjelent technológiával szemben) megfogalmazott emberi elvárás állhat: az egyenletes javulás követelménye, legyen minimum lineáris, de még jobb, ha az exponenciális az idővel. A valóság az, hogy mivel a hibák nagy előnye, hogy tanulni lehet belőlük, az emberi produktumok sem lesznek azonnal hibamentesek.
Változások a GPT-4-ben
A prím-hibát a Stanford Egyetem és a Kaliforniai Berkeley Egyetem kutatói fedezték fel, akik számos különbséget találtak a GPT-4 és elődje, a GPT-3.5 között:
• a GPT-4 válaszai kevésbé voltak bőbeszédűek,
• az új modell kevésbé volt hajlamos a magyarázkodásra,
• pontos (de potenciálisan zavaró) leírásokat csatolt a számítógépes kódrészletekhez,
• kicsivel biztonságosabbá is vált: több kérdést szűrt ki, és kevesebb potenciálisan sértő vagy törvénysértő választ adott (például nem adott útmutatást robbanóanyag készítéséhez), illetve nem igazolta a szexizmust vagy a rasszizmust,
• kevésbé működtek az eddig megismert „jailbreak” mechanizmusok is, amelyek célja a tiltások kicselezése,
• kis javulás látszott a vizuális logikai feladványok megfejtésében is.
Egy újabb fontos tény: a cikkben idézett kutatás még nem esett át a peer-review folyamatán, vagyis nem ellenőrzött, akár vissza is vonhatják az egészet téves metodika, elhibázott megközelítés vagy egyéb hiba folytán.
A szerző ellenvéleménye
A szaksajtó feltette a kérdést: „Egyre hülyébb a ChatGPT?”, de olyan szerző is akadt, aki a mondat végére felkiáltójelet tett. James Zou, a Stanford Egyetem adattudományi adjunktusa és a kutatás társszerzője szerint ez túlzottan leegyszerűsíti a generatív AI-modellek viselkedését, miközben az OpenAI egyenesen azt állítja, hogy a saját belső mérőszámai szerint a GPT-4 magasabb színvonalon teljesít, mint a GPT-3.5. Mi ide illesztenénk a harmadik fontos tényt:
Az OpenAI nem adott ki benchmark-adatokat. Azt sem közlik, hogyan fejlesztik és képezik nagy nyelvi modelleket, létrehozva ezzel a ChatGPT-algoritmusok kifürkészhetetlen, „fekete doboz” jellegét.
A kutatók ilyenkor csak spekulálnak illetve saját teszteket végeznek, és extrapolálják más gépi tanulási eszközökkel kapcsolatos ismereteiket.
Ha információról van szó, inkább „ClosedAI” a cég neve
Az biztos, hogy az OpenAI komoly változtatásokat eszközölt a modellen, erről a prompt engineer szakma nyűgjei tanúskodtak – ahogy Kathy McKeown, a Columbia Egyetem számítástechnika professzora is beszámolt róla: „Amikor a modell megváltozik, akkor nagy hirtelen más módon kell megírni a promptokat.” Vishal Misra, a Columbia számítástechnika professzora egyetért: „Elkezdesz megbízni a GPT-4 egy bizonyos viselkedésmódjában, majd a viselkedés anélkül változik meg, hogy tudnál róla. Innentől kezdve az egész alkalmazás, amit létrehoztál, rosszul kezd működni”. (Mennyire hasonlít ez a SEO-szakma működésére! A Meta, az Alphabet teker egyet a potmétereken, amitől mehet a szemétbe két év tartalomfejlesztés, és több tíz százalékkal esik vissza egy-egy oldal elérése. – A szerk.)
Egy MI működését két fő tényező határozza meg: a modell paraméterei és a finomításhoz szükséges betanítási adatok. A GPT-4 több százmilliárd paramétert tartalmazhat, és (itt jön a negyedik tény):
A generatív mesterségesintelligencia-modellek fejlesztői gyakran maguk sem ismerik a pontos összefüggést egyetlen paraméter és egyetlen megfelelő tulajdonság között.
A fekete doboz a fejlesztők asztalán is ott van: a paraméterek módosításával beálló változások őket is meglephetik. Zhou szerint: „A cél lenne, hogy szinte sebészi úton módosíthassuk az MI irányelveit nem kívánatos hatások fellépése nélkül. Ennek legjobb módja azonban egyelőre megfoghatatlan.”
Járulékos (prim)veszteségek
Joggal feltételezhető a GPT-4 esetében, hogy az OpenAI fejlesztői megpróbálták orvosolni a tömeges használat során felmerült problémákat (sértő, veszélyes válaszokat, stb.) A finomhangolás során talán véletlenül csökkent a prímszámokkal kapcsolatos pontosság. Esetleg gyenge minőségű képzési adatok csökkentették a GPT-4 válaszainak részletességét bizonyos matematikai témákban. A Princeton Egyetem kutatói még tovább mentek, szerintük nem is biztos, hogy a GPT-4 prímszám-azonosítási képessége csökkent volna.
Paradox módon még az is egy lehetőség, hogy a nyelvi modell eleve soha nem volt jó ebben a képességben, csupán igyekezett emberi hangzású szövegsorokat generálni és csak azt a választ kínálta, amely a legvalószínűbbnek tűnt a bevitt adatokból felvett trendek alapján.
„Amivel ezek a modellek rendelkeznek, ez a hatalmas mennyiségű adat, csak a különböző szavak közötti kapcsolatok meghatározására szolgál. Ez csak az érvelés utánzása, ahelyett, hogy ténylegesen érvelne a nyelvi modell”, írták.
Mi lehet a tanulság? Talán kevésbé lenne félrevezető „generatív nyelvi modellnek” hívni azt, amit ma mesterséges intelligenciának hívunk.
