Az OpenAI új kutatása szerint a nyelvi modellek „hallucinációi” – vagyis a magabiztosan előadott, de valójában téves állítások – nem rejtélyes hibák, hanem a jelenlegi tréning- és értékelési módszerek mellékhatásai. A cég szerint a probléma gyökere, hogy az MI-modelleket inkább találgatásra, semmint bizonytalanság beismerésére ösztönzik.
Hallucinációról akkor beszélünk, amikor egy modell hihető, de hamis információt ad. Ez még a legegyszerűbb kérdéseknél is előfordulhat. Az OpenAI kutatói például megkérdeztek egy közismert chatbotot, Adam Tauman Kalai – a tanulmány egyik szerzőjének – PhD-dolgozatáról, amellyel kapcsolatba azonban három teljesen eltérő, de mind hibás választ kaptak. Ugyanez történt a születésnapjára vonatkozó kérdésnél is.
Tanítás rossz ösztönzőkkel
A kutatás szerint a hiba forrása nem magában az MI-ben, hanem a mérési módszerekben rejlik. A jelenlegi pontozási rendszerek ugyanis csak a helyes válaszokat díjazzák, miközben az „nem tudom” válasz garantált nullapontot jelent. Így a modellek inkább tippelnek, hiszen statisztikailag jobb eredményt érhetnek el, mint a bizonytalanság vállalásával.
Az OpenAI példája világos: ha a nyelvi modell nem ismeri egy személy születésnapját, de rávágja, hogy „szeptember 10.”, 1/365 esélye van, hogy igaza lesz, a „nem tudom” viszont garantáltan rossz. Így a vezetőlistákon azok a modellek szerepelnek jobban, amelyek bátran találgatnak, nem pedig azok, amelyek felelősen visszajeleznek a bizonytalanságról.
A GPT-5 rendszerkártyájából vett SimpleQA teszt jól mutatja a dilemmát. Az OpenAI o4-mini modell kicsit pontosabbnak tűnt (24 százalék vs. 22 százalék pontosság), ám hibaaránya brutális: 75 százalék, szemben a GPT-5 „thinking mini” 26 százalékával. A különbség abból fakad, hogy az újabb modell sokkal gyakrabban mondta: nem tudja a választ – vagyis inkább alázatos volt, mint vakmerő.
Hogyan születik a téves magabiztosság?
A hallucinációk gyökere az alaptréning: a nyelvi modellek óriási szövegtömegek alapján tanulják meg a következő szó előrejelzését. Itt nincsenek „hamis” példák, csak a nyelvhasználat statisztikai mintái. Míg az olyan szabályszerűségek, mint a helyesírás vagy a zárójelek, könnyen megtanulhatók, addig az olyan ritka, véletlenszerű információk, mint egy ember születésnapja, szükségszerűen hibákhoz vezetnek.
A gond ott kezdődik, hogy a rendszer még ezeknél az adathiányos helyzeteknél is magabiztos választ próbál adni, mert erre kapott eddig jutalmat.
Az OpenAI javaslata egyszerű: az értékelési rendszereknek nemcsak a pontosságot kellene díjazniuk, hanem az alázatot is. Vagyis a téves, de magabiztos válaszokat súlyosabban kellene büntetni, míg a bizonytalanság vállalását részpontokkal honorálni. Ezzel a módszerrel a modellek megtanulhatnák, hogy néha jobb megállni egy „nem tudom”-nál, mint biztosan rosszat mondani.
Tévhitek és valóság
A kutatás több félreértést is helyretesz a hallucinációkkal kapcsolatban:
- Téves állítás: a hibák eltűnnek, ha a pontosság eléri a 100 százalékot.
Valóság: bizonyos kérdések eleve megválaszolhatatlanok. - Téves állítás: a hallucinációk elkerülhetetlenek.
Valóság: a modellek választhatják a tartózkodást. - Téves állítás: csak nagyobb modellek tudják elkerülni a hibákat.
Valóság: néha épp a kisebb modellek ismerik fel jobban saját korlátaikat.
Az OpenAI szerint a hallucinációk nem rejtélyes hibák, hanem a rosszul beállított ösztönzők következményei. Ha az értékelési rendszerek a szerencsés találgatások helyett a felelős bizonytalanságot jutalmaznák, a nyelvi modellek megbízhatósága jelentősen javulhatna. Az MI jövője így talán kevésbé a magabiztos tévedések, és inkább a felelős tudás határai felé mutat.
