Egy kutatás szerint a nagyobb mesterségesintelligencia-chatbotok hajlamosabbak hibás válaszokat adni, mint beismerni, hogy nem tudják a választ. Az újabb, fejlettebb chatbotok pontosabbak ugyan, de megbízhatóságuk csökkent, mert gyakrabban válaszolnak minden kérdésre, még akkor is, ha helytelen választ adnak – ez veszélyes lehet, mivel az emberek nem mindig veszik észre a hibákat.
Az MI-modellek gyakran hibáznak, különösen, ha MI által generált adatokat használnak, mivel ezek az adatok hajlamosak értelmetlen válaszokat létrehozni. José Hernández-Orallo, a València-i Mesterséges Intelligencia Kutatóintézet munkatársa és kollégái megvizsgálták, milyen módon változnak a hibák a modellek méretének növekedésével. A Nature folyóiratban megjelent tanulmány kimutatta, hogy bár a nagyobb és finomított modellek általában pontosabbak, egyre kevésbé hajlandóak azt mondani, hogy nem tudnak válaszolni – ennek eredményeként növekszik a hibás válaszok száma.
A kutatás azt is feltárta, hogy az emberek gyakran túlbecsülik a chatbotok képességeit, mivel nem mindig tudják felismerni a rossz válaszokat. Az OpenAI GPT, a Meta LLaMA és a BLOOM chatbotok vizsgálata során kiderült, hogy a finomított modellek, mint például a GPT-4, szinte minden kérdésre válaszolnak, még akkor is, ha az nehéz vagy éppen téves választ eredményez. A kutatók arra is rámutattak, hogy a chatbotok néha még könnyű kérdéseket is rosszul válaszolnak meg, ami azt jelenti, hogy nincs olyan „biztonságos zóna”, ahol a felhasználók megbízhatnának bennük.
Az emberek gyakran helytelenül ítélik meg, hogy a chatbot válasza helyes-e vagy sem – néha, akár az esetek 40 százalékában is a hibás válaszokat tartják jónak.
Hernández-Orallo szerint a fejlesztőknek az egyszerűbb kérdésekre adott válaszok pontosságát kellene növelniük, és a chatbotokat arra kellene ösztönözni, hogy kerüljék a nehéz kérdésekre való válaszadást. Így az emberek jobban megértenék, hogy mikor érdemes az MI-t használni, és mikor nem.
Habár a chatbotok egyre jobban teljesítenek, sokszor inkább próbálnak tetszetősnek tűnni, mintsem pontosak lenni, ami problémákat okozhat. Bizonyos modellek már képesek azt mondani, hogy „nem tudom”, de a szélesebb körű felhasználásra tervezett chatbotoknál ez még nem általános gyakorlat.
