A mesterségesintelligencia-alapú képelemző rendszerek egyre nagyobb szerepet kapnak az orvosi diagnosztikában, ám a legújabb MIT-kutatás rávilágított egy eddig alig vizsgált, ám annál súlyosabb hiányosságra: ezek a modellek egyszerűen nem értik a tagadást. A vizsgálat kimutatta, hogy a látás-nyelv modellek, amelyeket gyakran használnak orvosi képek – például röntgenfelvételek – kiértékelésére, hajlamosak figyelmen kívül hagyni a tagadó szavakat, mint a „nem” vagy a „nincs”. Ez súlyos következményekhez vezethet, különösen akkor, ha például egy gép olyan pácienseket keres hasonló diagnózissal, akiknek nincs megnagyobbodott szívük – de a modell ezt félreértelmezi, és olyan eseteket is bevon, ahol ez az állapot fennáll.
A kutatást vezető MIT doktorandusz, Kumail Alhamoud szerint ezek a szavak kulcsszerepet játszanak a helyes értelmezésben, és ha a rendszereket vakon használjuk, az katasztrofális következményekkel járhat. A kutatók azt tapasztalták, hogy a modellek teljesítménye a tagadással kapcsolatos feladatoknál gyakorlatilag a véletlen tippeléssel volt egyenértékű. A jelenség mögött az áll, hogy a látás-nyelv modelleket alapvetően pozitív tartalmú képaláírásokkal tanítják – vagyis olyanokkal, amelyek leírják, mi van a képen, de nem térnek ki arra, mi hiányzik róla.
A kutatócsoport két benchmark-feladatot dolgozott ki, hogy teszteljék a modellek képességét a tagadás értelmezésére. Az első esetben egy nagy nyelvi modell segítségével újrafogalmazták a képaláírásokat úgy, hogy azok megnevezzenek a képen nem szereplő elemeket. A másodikban olyan feleletválasztós kérdéseket alkottak, amelyek csak apró részletekben tértek el egymástól – például egy tárgy említése vagy annak tagadása révén. A modellek ezekben a helyzetekben 25 százalékos teljesítménycsökkenést mutattak, és több esetben a találati arányuk a véletlen szintjén vagy alatta maradt.
A probléma egyik fő oka az úgynevezett „megerősítő torzítás” – a modellek hajlamosak figyelmen kívül hagyni a tagadó kifejezéseket, és kizárólag a képen látható objektumokra fókuszálnak. Ráadásul ez a torzítás nemcsak a klasszikus „nem” vagy „nincs” szavak esetében érvényesül, hanem szinte bármilyen kizáró vagy ellentmondó nyelvi szerkezet esetén is.
A kutatók megpróbálták orvosolni a problémát: egy tízmillió képet és képaláírást tartalmazó adathalmaz alapján egy nagy nyelvi modellt használtak arra, hogy olyan új aláírásokat generáljon, amelyek világosan megfogalmazzák, mi hiányzik a képről. Ezáltal létrehoztak egy negációt tartalmazó szintetikus adathalmazt, amellyel újratanították a modelleket. Az eredmények biztatóak: a képkeresési feladatokban 10 százalékos, a feleletválasztós kérdések esetén pedig közel 30 százalékos javulást mértek.
Azonban a kutatók szerint ez még csak a kezdet – a probléma gyökerét még nem sikerült megoldani. A cél az lenne, hogy a jövőben a modellek külön dolgozzák fel a szöveges és képi információkat, és így képesek legyenek mélyebben megérteni a tagadás logikáját. Addig is arra hívják fel a figyelmet, hogy ezeknek a modelleknek a bevezetése előtt minden esetben alapos tesztelésre van szükség, különösen az olyan érzékeny területeken, mint az egészségügy vagy a gyártás minőségellenőrzése.
