Képzeljük el, hogy a jövőben elmegyünk az orvoshoz, elmondjuk neki, hogyan érezzük magunkat, majd egy átirati eszköz hamis információkkal látja el, és megváltoztatja a kórtörténetünket. Ez a helyzet állhat elő olyan egészségügyi központokban már jelenleg is, amelyek az OpenAI „Whisper” nevű transzkripciós eszközét használják.
Több mint egy tucat fejlesztő, szoftvermérnök és akadémiai kutató talált bizonyítékot arra, hogy a Whisper „hallucinációkat” hoz létre — olyan szöveget állított elő, amelyek között kitalált gyógyszerek, faji megjegyzések és erőszakos kijelentések is szerepelnek az ABC News beszámolója szerint. Ennek ellenére az elmúlt hónapban a nyílt forráskódú HuggingFace AI platformon 4,2 millió alkalommal töltötték le a Whisper legújabb verzióját. Az eszköz beépítve elérhető az Oracle és a Microsoft felhőszolgáltatási platformjaiban, valamint a ChatGPT bizonyos verzióiban is.
| Az OpenAI szerint a Whisper egy automatikus beszédfelismerő (ASR) rendszer, amelyet 680 ezer órányi, többnyelvű és többfeladatú, felügyelt, a világhálóról gyűjtött adat alapján képeztek ki. A modell olyan neurális hálózati architektúrákat tartalmaz, amelyeket a hangbemenet feldolgozására és pontos átiratok létrehozására terveztek. Pontosabban, a Whisper több különböző méretű – 39M és 1,55B paraméter közötti – modell gyűjtőneve. A „nagyobb” modellek jobb pontosságot biztosítanak, de hosszabb feldolgozási idő és magasabb számítási költségek árán. |
A problémák elég széles körűek, mivel a szakértők minden téren jelentős hibákat találtak a Whisper működésében. Például a Michigani Egyetem egyik kutatója nyolc alkalommal talált kitalált szöveget tíz nyilvános ülés átirataiban. Egy másik kutatásban számítógéptudósok 187 hallucinációt fedeztek fel, amikor több mint 13 ezer hangfelvételt elemeztek. Egy gépi tanulás mérnök pedig nagyjából a transzkripciók felében, összesen több mint 100 órányi anyagban talált ilyen hibákat, míg egy fejlesztő majdnem mind a 26 ezer átiratban azonosított hallucinációkat, amelyeket a Whisper készített.
A Whisper hallucinációinak veszélyes egészségügyi következményei is lehetnek. A „Nabla” nevű cég használja a Whispert orvosi transzkripciós eszközként, amelyet több mint 30 ezer klinikus és 40 egészségügyi rendszer alkalmaz, és eddig becslések szerint hétmillió vizsgálatot transzkribáltak. A cég tisztában van a problémával, és azt állítja, hogy dolgoznak rajta, de jelenleg nincs mód az átiratok hitelességének ellenőrzésére.
A Nabla technológiai igazgatója, Martin Raison szerint az eszköz minden hanganyagot töröl az „adatbiztonság érdekében.” A cég azt is mondja, hogy az egészségügyi szolgáltatóknak gyorsan kellene szerkeszteniük és jóváhagyniuk az átiratokat, de ez a rendszer esetleg változhat. Eközben senki más nem tudja megerősíteni az átiratok pontosságát az adatvédelmi törvények miatt.
| Az eset nagyon élesen megmutatja, mi a különbség a generatív és a „normál” mesterséges intelligencia között. Meglehetősen merész ötlet egészségügyi társalgásokhoz alkalmazni olyan eszköz, amely önállóan képes tartalmat létrehozni. A „rendes” leíró szoftverek a meg nem értett beszéd helyét csak megjelölik, nem töltik ki. A Whisper esete a generatív MI marketingjének felelőtlenségére, de legjobb esetben is az alkalmazás lehetséges következményeinek elégtelen felmérésére, tájékozatlanságra utal. – A szerk. |
