Amikor valaki azt mondja, hogy egy esemény „valószínű” vagy „nagy eséllyel bekövetkezik”, az emberek többnyire rendelkeznek egy közös – bár nem teljesen pontos – értelmezéssel arról, mit is jelent ez. Amikor azonban egy AI-chatbot, például a ChatGPT használja ugyanezt a szót, nem ugyanúgy méri fel az esélyeket, mint mi – derült ki egy kutatásból.
Nemrégiben jelent meg egy tanulmányt az NPJ Complexity folyóiratban, amely szerint bár a nagy nyelvi modellek kiválóan teljesítenek társalgási helyzetekben, gyakran nem hangolódnak össze az emberekkel, amikor bizonytalanságot kell kommunikálniuk. A kutatás az úgynevezett becslő valószínűségi kifejezésekre fókuszált, például a „talán”, „valószínűleg” és „szinte biztos” szavakra.
Az AI-modellek és az emberek jelentősen eltérő numerikus százalékos értékeket rendelnek ezekhez a kifejezésekhez. Bár a modellek és az emberek általában egyetértenek a szélsőséges kifejezések esetében, mint például a „lehetetlen”, a bizonytalanabb árnyalatú szavaknál – például a „talán” – jelentős különbségek mutatkoznak. Például egy modell a „likely” (valószínű) kifejezést 80%-os valószínűséghez kötheti, míg egy emberi olvasó inkább 65% körüli esélyre gondol.
Ennek oka lehet, hogy az emberek az olyan szavakat, mint a „likely” vagy „probable”, inkább kontextuális jelzések és személyes tapasztalatok alapján értelmezik. Ezzel szemben a nagy nyelvi modellek a tanítóadataikban előforduló eltérő használatokat átlagolhatják, és ez eltérésekhez vezethet az emberi értelmezéshez képest.
A vizsgálat azt is kimutatta, hogy a nagy nyelvi modellek érzékenyek a nemre utaló nyelvi elemekre és a prompt megfogalmazására. Amikor egy kérdésben a „he” (ő – férfi) helyett „she” (ő – nő) szerepelt, az AI valószínűségi becslései gyakran merevebbé váltak, tükrözve a tanítóadatokban jelen lévő torzításokat. Amikor a prompt angolról kínai nyelvre váltott, a valószínűségi becslések szintén módosultak, feltehetően azért, mert az angol és a kínai nyelv eltérően fejezi ki és értelmezi a bizonytalanságot.
Miért fontos ez?
Ez az eltérés nem pusztán nyelvi sajátosság, hanem alapvető kihívás az AI-biztonság és az ember–AI együttműködés szempontjából. Ahogy a nagy nyelvi modelleket egyre gyakrabban alkalmazzák nagy tétű területeken – például egészségügyben, kormányzati döntéshozatalban vagy tudományos kommunikációban –, a kockázatkommunikáció módja a közbizalom kérdésévé válik.
Ha például egy orvost segítő AI-asszisztens egy mellékhatást „valószínűtlennek” nevez, miközben a modell belső számítása szerint ez magasabb kockázatot jelent, mint amit az orvos feltételez, a döntés hibás lehet.
Milyen további kutatások zajlanak?
Az emberek bizonytalanság-értelmezésének számszerű vizsgálata az 1960-as évekre nyúlik vissza, amikor a CIA elemzői kezdték kutatni ezt a területet a hírszerzési jelentések pontosítása érdekében. Az utóbbi években robbanásszerűen megnőtt a nagy nyelvi modellekkel foglalkozó szakirodalom, amely a neurális hálózatok „működésének” és nyelvi mintázatainak mélyebb megértésére törekszik.
A kutatás újabb réteget ad ehhez azzal, hogy az ember és a mesterséges intelligencia közötti interakciót egy biológiai rendszerhez hasonlóan kezeli, ahol a jelentés torzulhat vagy „leépülhet”. Nem csupán azt vizsgálja, hogy egy AI „okos-e”, hanem azt is, hogy mennyire van összhangban az emberi értelmezéssel.
Más kutatók jelenleg azt vizsgálják, hogy az úgynevezett „chain-of-thought” promptolás – amikor az AI-nek lépésről lépésre ki kell fejtenie a gondolatmenetét – képes-e csökkenteni ezeket az eltéréseket. Eredményeink szerint azonban még a fejlett érvelés sem mindig hidalja át a statisztikai adatok és a verbális címkék közötti szakadékot.
Mi következik?
A jövőbeli AI-fejlesztés egyik célja olyan modellek létrehozása, amelyek nem csupán a következő legvalószínűbb szót jósolják meg, hanem valóban értik az általuk közvetített bizonytalanság súlyát. A kutatók robusztusabb konzisztenciamutatók bevezetését sürgetik annak érdekében, hogy ha egy modell az adatokban 10%-os eséllyel találkozik, akkor minden alkalommal ugyanazt a kifejezést válassza.
Ahogy egyre inkább olyan világ felé haladunk, ahol az AI tudományos cikkeket foglal össze és emberek időbeosztását kezeli, létfontosságú, hogy a „valószínűleg” valóban azt jelentse, amit mi is annak értünk. Csak így válhatnak ezek a rendszerek megbízható partnerekké, nem pedig csupán kifinomult szóismétlőkké.
Forrás: https://theconversation.com/
