Nemcsak az emberi, hanem a mesterséges intelligencia is tud tévedni. Az MI és különösen a nagy nyelvi modellek viszont sokszor másképp teszik ezt, mint az ember: nem az ismeretek hiánya, a tudatlanság vagy a fáradtság áll a háttérben. Ha csökkenteni akarjuk tévedéseik számát és ezzel növelni az MI-be vetett bizalmat, tudnunk kell, hogy mikor, miben és miért hibáznak.
◼︎ Amikor az MI hibázik
Az ember tudja magáról, hogy hibázik, megtanult együtt élni ezzel, és kidolgozta azokat a módszereket, amelyekkel a hibák száma és azok következményeinek súlyossága csökkenthető. A számítógépektől viszont megszoktuk, hogy nem hibáznak – ugyanazt a feladatot mindig ugyanúgy hajtják végre, nem is jut eszünkbe, hogy kézzel ellenőrizzük egy Excel-tábla függvényeinek értékét.
Amikor azonban keverni kezdtük az emberi gondolkodást utánzó generatív mesterséges intelligenciát és a számítógépeket, és megjelentek a nagy nyelvi modellekre (LLM-ekre) épülő chatbotok, elhűlve tapasztaltuk, hogy azok bizony időnként ordas nagy hibákat vétenek, hallucinálnak, vagy teljes képtelenségeket állítanak határozottan. Ez talán még nem is annyira nagy baj, mert az ilyet azonnal észrevesszük – más lehet viszont a helyzet, amikor csak annyit téved, hogy azt elfogadjuk igazságnak.
A valószínű hiba
A ChatGPT berobbanását követően, 2023-ban, a botok az összes generált szöveg 27 százalékában hallucináltak, szövegeik 47 százalékában voltak tárgyi tévedések. Azóta is inkább csak javulgat, de döntően nem javul a helyzet.
Az MI által elkövetett tévedéseket többnyire nem a gyakoriságuk vagy a súlyosságuk különbözteti meg az emberi hibáktól, hanem az, hogy az MI gyakran nem ugyanazokat a hibákat követi el, mint az ember. A mesterséges intelligenciával kapcsolatos aggályok és félelmek nagy része is ebből a különbözőségből fakad. Nyilvánvaló, hogy ha meg akarjuk akadályozni az MI hibáiból keletkező károkat, olyan biztonsági rendszereket kell kitalálni, amelyek ezekhez a hibákhoz alkalmazkodnak.
Az embereknél könnyebb megtalálni, hogy mikor és hol fognak hibázni: általában akkor, amikor ismereteik határára értek. A népesség többsége elé hiába tesznek le egy differenciálegyenletet, nem tudják megoldani, mint ahogy Kant és Hegel filozófiájának összehasonlításából sem írnak esszét. Ezt viszont az emberek többnyire magától is tudja, és nem is próbálkozik ilyen feladatok elvégzésével. Hibáink csoportot alkotnak, klaszterezhetők: ha számítás közben elvétünk valamit, valószínűleg nemcsak azt az egyet tévesztettük el, hanem más hibák is társulnak hozzá. Hibázásunk valószínűségét olyan tényezők is befolyásolják, mint a fáradtság és a figyelemhiány.
Nem is annyira különbözik?
Egy kicsit mélyebbre ásva ugyanakkor kiderül, hogy sok, „gépinek” gondolt hiba, tévedés jellemző az emberre is. Így például MI-sajátosságnak vélhetjük az, hogy a lekérdezések apró módosításaira gyökeresen eltérő válaszokat ad egy nyelvi modell. Pedig ugyanez az embernél is megfigyelhető, kérdezzük meg bármelyik közvélemény-kutatót. Ott a kérdések megfogalmazása szignifikánsan befolyásolja a választ: ha csak egy kicsit is másként teszik fel őket, teljesen eltérő végeredmény jöhet ki.
| Egy jellegzetes MI-tévedés
Felhasználó: |
Szintén gyakran éri az a kritika a nagy nyelvi modelleket, hogy a gyakorlóadatok minősége miatt elfogultak lehetnek. Ebben azonban nincs feltétlenül ártó szándék. Az LLM-ek hajlamosak lehetnek a gyakorlóadatokban leggyakrabban szereplő szavak beépítésére a válaszokba olyan esetekben is, ha teljesen másról faggatják őket. Ez is elsőre nagyon nem emberinek tűnő hiba, holott az elfogultság az embertől sem idegen, sőt, az ember még hajlamosabb az előfeltevéseibe nem illő tények figyelmen kívül hagyására.
Hozzánk hasonlóan az LLM-ek többsége szintén jobban emlékszik a hosszú dokumentumok elején és végén előforduló információkra, mint a közepén olvasottakra. Történt már előrelépés ennek javítására: ha több példát kapnak hosszú szövegekben található információk lekérdezéséhez, akkor jobban teljesítenek az információk egységes visszakeresésében.
Az MI-alapú chatbotok megjelenése után elég hamar kiderült, hogy több, viszonylag egyszerű és nagyon emberi trükknek is képesek bedőlni. Hat rájuk a jutalom vagy a büntetés ígérete, és a megszokott social engineering módszerek révén is kicsalható belőlük olyan információ, amelyet az MI-modell fejlesztői nem szerettek volna kiadni. Sokszor elég, ha a felhasználó másnak adja ki magát vagy annyit mond, hogy a kérés csak vicc, és így tovább. A jól megfogalmazott, ártalmatlannak tűnő, bonyolult kontextusba ágyazott lekérdezésekkel nem egy esetben megkerülhetők a modellek korlátozásai.
Egyre okosabb, mégis hibázik?
Ezzel együtt a hibázási különbségek mégis jelentősek lehetnek. Az embernél a tudás nem bináris, tudom vagy nem tudom – van egy kisebb-nagyobb szürke zóna, ahonnan a „szerintem”, „úgy emlékszem”, „az rémlik”, „ha jól sejtem” kezdetű mondatok származnak. Az LLM viszont ugyanolyan magabiztosan állít teljesen valószerűtlen dolgokat, mint az ellentétüket, mond egyszer igazat, másszor hamisat. (Persze az ember is képes magabiztosan teljes képtelenségeket állítani, de vélt igazához sokkal inkább ragaszkodik, mint egy LLM…)
A legújabb modellek már több gyakorlóadatot használnak, számítási kapacitásaikat növelték, és finomhangolásuk közben több humán visszajelzést vesznek figyelembe a pontosabb kimenetek eléréséért. Nagyon bonyolult feladatokat is jobban oldanak meg, mint közvetlen elődeik, sok szempontból viszont ugyanolyan megbízhatatlanok maradtak, sőt, esetenként rosszabbak is náluk. Kifejezetten könnyű kérdésekre gyakrabban hajlamosak hibás választ adni.
Ennek okára többféle magyarázat is született. Az egyik szerint a mostani modellek ritkábban mondják azt, hogy „nem tudom a választ”, vagy nem a kérdésre reagálnak, hanem magabiztosan generálnak rá valótlanságokat. Egy másik magyarázat lehet, hogy a fejlesztők a legnehezebb problémák megfejtésére optimalizálják őket, ezért bakiznak a könnyebb kérdéseknél. A harmadik ok pedig az lehet, hogy mivel egyre jobban megbízunk bennük, a korábbiaknál is bonyolultabb kérdésekkel ostromoljuk „őket”, miközben nincsenek elég ismereteink a válaszok igazságtartalmának megítéléséhez – vagyis emberi szempontból egyre ritkábban mondanak sületlenségeket.
Halmozódó hibák
Az LLM-ek hibái látszólag véletlenszerűek, bármikor előfordulhatnak, és az emberi tévedésekkel ellentétben nem csoportosíthatók témák köré, az ismeretmátrixban való eloszlásuk viszont egyenletesebb. Mi is hibázhatunk véletlenszerűen, érthetetlenül, következetlenül, de ezek az esetek ritkák, és komolyabb kognitív problémákat jeleznek. Akiknél ilyet tapasztalunk, általában nincsenek és nem is kerülnek döntéshozói pozícióba. Mesterséges intelligencia esetében más a helyzet, ezért lenne kulcsfontosságú, hogy az adott modellt kizárólag a tényleges képességeinek megfelelő alkalmazásokban használjuk, miközben árgus szemmel figyeljük potenciális hibáikat.
Látszólag véletlenszerű következetlenségük miatt különösen akkor nehéz megbízni a mesterséges intelligenciában, ha többlépcsős komplex feladatot kell elvégezniük – márpedig az erősen felfutóban lévő, több modell együttműködésére épülő MI-ügynökök (agentek) pontosan erre a célra születnek. Ha például MI-vel akarunk üzleti problémát megoldani, nem elég látnunk, hogy megértette, milyen tényezők tesznek nyereségessé egy terméket, hanem biztosnak kell lennünk abban is, hogy nem felejtette el, mi egyáltalán a pénz.
Hibázás-megelőzési stratégiák
Ezekből az eltérésekből két kutatás-fejlesztési terület sejlik fel az ellenőrizhetőbb mesterséges intelligencia fejlesztésére. Az egyik, hogy a már ismert és kezelhető emberi hibákat vétő LLM-ek terveznek; a másik, hogy az LLM-ek sajátos hibáit vizsgáló rendszerek alakítanak ki.
Rendelkezésre állnak már eszközök arra, hogy az LLM-ek „emberibben” cselekedjenek. Közülük több az „illesztés” kategóriájába tartozik, rendeltetésük a humán fejlesztők céljaival és motivációival, az emberi értékekkel és szándékokkal összhangban történő cselekvés. Ilyen technika a megerősítéses tanulás, amikor erőteljesen támaszkodnak az emberi visszajelzésre. A modellt akkor jutalmazzuk (persze képletesen), ha az emberi jegyeket magasabb szinten képviselő válaszokat ad. Hasonló megoldást alkalmazhatnánk ahhoz, hogy MI-rendszereket a mainál minél kevesebb nem emberi hiba elkövetésére ösztönözzünk. Minél kevésbé érthető vagy már egyenesen érthetetlen a hiba, annál nagyobb büntetést kapnának a modellek.
Ha az LLM hibáinak megértésén dolgozunk, segíthetnek az emberi hibák megelőzésére használt rendszerek, például előírhatják nekik, hogy kétszer is ellenőrizzék (double-check-eljék) munkájukat. Vagy saját maguk is kitalálhatnak először hihetőnek tűnő, valójában nevetséges, majd egyre pontosabb magyarázatokat tévedéseikre.
A másik módszer célja nem a nem emberi hibák kiküszöbölése, hanem azok minél pontosabb felismerése és korrekciója. Ehhez kiaknázható, hogy a gépek nem fáradnak el, nem frusztráltak és figyelemhiánnyal sem küszködnek. Már létező módszer, hogy egy LLM-nek kis változtatásokkal számos alkalommal teszik fel ugyanazt a kérdést. Az eltérő válaszok összegezhetők, és így a kiértékelésnél jobban kimutathatók a tévedések.
