A kis nyelvi modellek (SLM-ek) egyre nagyobb figyelmet kapnak a generatív mesterséges intelligencia területén. Az SLM-eket viszonylag kis mennyiségű adattal tanítják, és relatíve kevés paraméterrel rendelkeznek. Az SLM praktikusabb lehet, mint a nagy nyelvi modellek, mivel kevésbé erőforrás-igényesek anélkül, hogy az adott felhasználási esetekben veszélyeztetnék a hatékonyságot.
A nagy nyelvi modell (LLM) a generatív mesterséges intelligencia (Gen MI) egy típusa, amely alapjain működik például a ChatGPT, a Google Bard és a Microsoft Copilot is. Bár az ilyen modellek hasznosnak bizonyultak, az egészségügyi környezetben új szabályozási, etikai és adatvédelmi aggályokat vetnek fel .
Az utóbbi időben egy másik nyelvi modell is felkeltette a figyelmet a Gen MI területén: a kis nyelvi modell (SLM). Azt az ígéretet rejti magában, hogy megbirkózik néhány kihívással az LLM-ek egészségügyi ellátásba való integrálásával. Az egészségügyben az SLM lehetőségei közé tartozik a személyre szabott betegutak, a generatív mesterséges intelligencia elérhetővé tétele több intézmény számára, valamint az MI-modellek átláthatóságának javítása.
SLM és LLM: mi a különbség?
Az LLM-ekhez hasonlóan az SLM is a Gen MI egyik típusa, és hasonló módon működik. Ez azt jelenti, hogy a neurális hálózatokra támaszkodnak, hogy megtanuljanak mintákat a szövegben lévő nyelvből, hogy új, saját szöveget hozzanak létre. Az SLM-eket „kicsinek” nevezik, mivel viszonylag kis mennyiségű adatra tanítják őket, és viszonylag kevés paraméterrel rendelkeznek. A paraméterek itt olyan változókra vonatkoznak , amelyek meghatározzák a modell szerkezetét és viselkedését. A „viszonylag kicsi” kitétel ellenére az SLM-ek még mindig több millió vagy akár milliárd paramétert tartalmaznak, de egy vagy több nagyságrenddel kevesebbet, mint az LLM-ek. Az OpenAI GPT-3-a (LLM) 175 milliárd, míg a GPT-4 körülbelül 1000 milliárdnyi paraméterrel dolgozik. Összehasonlításképpen: a Microsoft nemrégiben bemutatta a Phi-2-t (SLM), a cég kutatói által kifejlesztett SLM-et 2,7 milliárd paraméterrel.
„A kis nyelvű modellek méretük és megfizethetőségük miatt könnyebben hozzáférhetővé tehetik a mesterséges intelligenciát. Ugyanakkor új módszereket fedezünk fel annak érdekében, hogy a nagy nyelvi modellekhez hasonló teljesítményt nyújtsunk”, mondja Sebastien Bubeck , a Microsoft Research Machine Learning Foundations csoportjának vezetője.
Míg egy összetett, több paraméterrel rendelkező modell erősebb lehet, az SLM-ek továbbra is előnyt jelenthetnek az LLM-ekkel szemben. A kisebb és speciálisabb adatkészletekre való képzés révén az SLM-ek hatékonyabbak lehetnek bizonyos esetekben, még akkor is, ha ez szűkebb hatókört jelent, mint az LLM-ek. Ez bizonyos esetekben akár azt is eredményezheti, hogy az SLM-ek felülmúlják az LLM-eket. A Microsoft ezt példázza a Phi-2 SLM-jükkel, amely jobban teljesített a kódolási és matematikai feladatokban, mint a Llama-2 LLM, amely 25-ször nagyobb, mint a Phi-2.
Az SLM-ek lehetőségei az egészségügyben
A gondozott, jó minőségű adatokra összpontosítva, és kevesebb számítási és pénzügyi erőforrást igényelnek, az SLM-ek különösen alkalmasak egészségügyi célokra. Noha az SLM-eken alapuló Gen MI-t nem hozták nyilvánosságra, elgondolkodhatunk a technológia alkalmazásának néhány lehetőségén.
Az SLM-alapú Gen MI viszonylag kicsi, de jó minőségű adatkészleteken való betanításával a betegek személyre szabott egészségügyi ellátásban részesülhetnek. Ezt egy olyan chatbot kifejlesztésével érhető el, amely egy adott állapotra összpontosít, és képes a betegeket az állapotukra vonatkozó oktatási anyagokkal és ajánlásokkal ellátni. Egy ilyen eszközzel akár egy személyes, mesterséges orvosi asszisztenst is kaphatna minden páciens, aki végigvezeti betegútja során.
Megfizethető és átlátható generatív MI
Mivel kevesebb erőforrást igényelnek a képzéshez és a működtetéshez, az SLM-ek megfizethetőbbek, mint LLM társaik. Az ilyen modellek költséges infrastruktúra, például speciális hardver és felhőszolgáltatások nélkül telepíthetők. Az ilyen megnövekedett hozzáférhetőség révén több egészségügyi intézmény profitálhat a Gen MI előnyeiből, és tovább hangolhatja a technológiát egyéni igényeiknek megfelelően, anélkül, hogy a hatékonyságot veszélyeztetné.
Egyszerűbb architektúrájuknak köszönhetően az SLM kimenetek jobban értelmezhetők és ezáltal átláthatóbbak. Az ilyen mesterségesintelligencia-modellek átláthatóságát tovább növeli az a képesség, hogy jobban ellenőrizhetők a képzési adatok, könnyebb kezelni a torzításokat, és jobban tükrözik az általuk támogatott populációt. Ez tovább segítheti az MI-eszközökbe vetett bizalom kiépítését.
Bár SLM-eszközöket nyilvánosan még nem vezettek be az egészségügyi intézményekbe, előnyei miatt valószínűleg csak idő kérdése, hogy megtörténjen. A nagy technológiai cégek aktívan dolgoznak ilyen modelleken: a Microsoft kutatói két SLM-et fejlesztettek ki és adtak ki , nevezetesen a Phi-t és az Orcát. A francia mesterséges intelligencia startup, a Mistral bemutatta a Mixtral-8x7B-t, amelynek a futtatásához egyetlen számítógép is elegendő, a Google Gemini Nano-ja pedig már az okostelefonokon is elérhető.
Az SLM-eszközöknek a biztonságos és etikus alkalmazásuk biztosítása érdekében be kell tartaniuk az LLM-ekre javasolt hasonló előírásokat. A Microsoft 2024-ben az SLM-eket a fókuszban lévő mesterségesintelligencia-trendek közé sorolja, ezért talán érdemes lehet az egészségügyi területnek is követnie mindezt.
(forrás)
