Egyre nehezebb eldönteni, melyik mesterségesintelligencia-modell a legjobb, melyik intelligensebb a másiknál. Különböző teljesítményértékelések alapján minősítik őket, csakhogy az érvelő-következtető modellek megjelenésével nem mindig derülnek ki az MI-k tényleges képességei – különösen a nem egyértelmű, „mélyebb” tudásuk. Világszerte próbálnak megoldást találni a kiértékelési válságra. De kell-e egyáltalán egységes megoldás?
◼︎ MI-modellek kiértékelése
A gépi tanulás, a generatív MI, a nagy nyelvi modellek (large language models, LLM-ek) fejlődése eljutott arra a pontra, hogy a modellek közötti választás komoly fejtörést okoz a vállalatoknak. A döntésben az LLM-ek teljesítményét összehasonlító, objektívnek tekinthető mérések (benchmarkok) hivatottak segíteni. A memóriamennyiséget, sebességet, feldolgozás-minőséget vagy az energiahasználatot figyelembe vevő hagyományos szoftverminősítésekkel szemben ezeknek az új benchmarkoknak a legfőbb rendeltetése a problémamegoldó képesség mérése. Bizonyos értelemben úgy is tekinthetünk rájuk, mint az érettségire vagy az egyetemi vizsgákra.
Mi fán teremnek a benchmarkok?
Az MI-világban a benchmarkok alatt a modellek teljesítményét értékelő, szabványosított keretrendszereket értjük. A tesztelők feladatokat adnak az MI-nek, majd azok elvégzését meghatározott, objektív mérőszámok alapján pontozzák. Különböző, leegyszerűsített, kissé sematizált képességeket tesztelnek: kódolást, érvelést, szöveg-összefoglalást, (a prompt tartalmára, logikai bizonyításra, következtetésre bontható) szövegértést, az olvasottak tényszerű felidézését. Változatos tárgyakra összpontosítanak, mint például a történelem, matematika, természettudományok, programozás. Olyan képességeket is pontozhatnak, hogy a modell egy kulcsfontosságú bekezdést feldolgozva mennyire képes megállapítani egy névmás alanyát, tud-e a józan észhez hasonló tanácsokat adni. Az így kapott referenciaértékeket felhasználva az MI-k összehasonlíthatók, finomhangolhatók lesznek.
| Néhány népszerűbb benchmark
– MMLU: tömeges többfeladatos nyelvi megértésre összpontosít, ötvenhét általános kategóriával a STEM (tudomány, technológia, mérnöki diszciplínák, matematika), a társadalom- és más humán tudományok területén, elemi készségektől a posztgraduális szintig; |
A teszteken gyakran csak egy válasz helyes, és ha nem, akkor az osztályozás pénz- és időigényesebb. Esetenként bevezethető valamilyen szintű véletlenszerűség, amivel viszont a teszt nehezebben ismételhető meg, ha pedig nem ismételhető meg, az eredmények sem konzisztensek. A legtöbb LLM-be eleve beépítik a véletlenszerűséget, mert így emberibbnek tűnnek. A felhasználó „kárpótlásul” viszont csökkentheti a kimenet random jellegét.
A tesztek jellemzően programozottan, szkriptek és API-k használatával működnek. Mondjuk megírják Pythonban, a kérdéseket adatbázisból vagy szövegfájlból beolvassák, majd API közvetítésével teszik elérhetővé a modell számára. Generatív modellek teljesítményértékelésekor a reprodukálhatóság és a kimenet feletti kontrollszint meghatározása kiemelten fontos. Ha a modell nem elég determinisztikus, a teszt többszöri futtatásával és az átlageredmény figyelembevételével hozzávetőleges pontszámot állapítanak meg.
Listák sokasága
Az esetenként több tudományterületet felölelő teljesítményértékelés három nagyobb lépésre bontható: a teszthez használt adatok (szöveges dokumentumok, kódolási vagy matematikai kérdéssorok stb.) előkészítése; a modell tesztelése a mintaadatokon; végül a várt kimenettel összehasonlítva történő pontozás.
Maguk a tesztek és az általuk mért benchmarkok nagyon sokfélék lehetnek és számos különböző helyen érhetők el. (Néhány rövid leírását lásd „Néhány népszerűbb benchmark” című keretes írásunkban!) A mesterséges intelligencia iránt érdeklődők „közösségi médiája”, a Hugging Face a felhasználók által generált MI-tartalmakat is tárol. Sokan rendszeresen frissített, saját LLM-ranglistát tesznek közzé, általában a nyílt forrású modellekről. A legismertebbek, leggyakrabban hivatkozott listák között van a Big Benchmark Collection, a Chatbot Arena LLM Leaderboard, az OpenVLM Leaderboard és a GAIA. Csakhogy míg a nyílt forrású MI tesztelése olcsó, addig a zárt forrásúak értékelése nehezebb és persze drágább is.
A Hugging Face-en kívül mások is közzétesznek benchmarkokat, méréseket, ranglistákat. Az MI termékfejlesztési platformot kínáló Vellum AI saját modellértékelést futtat, az SWE-bench a GitHub-os problémák megoldását méri, a LiveBench logikai és egyszerű kódolási feladatok megoldásának képességét teszteli, a beszédes nevű Humanity’s Last Exam (HLM, az emberiség utolsó vizsgája) pedig a gondolkodást vizsgálja különböző tudományterületeken.
Négy benchmark, négy sorrend
A különféle mérési módszerek egyik megkerülhetetlen következménye, hogy többnyire nem azonos sorrendet állapítanak meg az egyes modellek esetében. Idén áprilisban például több tesztben is összevetették az xAI Grok 3 Betát, a Google Gemini 2.5 Prót, valamint az OpenAI o3 és o4-mini modelljeit. Az eredmény: következtetésben (GPQA), ágens-kódolásban (SWE-Bench), főiskolai matematikában (AIME) és a „legemberibb gondolkodásban” (HLM) mindegyik benchmark más sorrendet állapított meg. Az SWE-Bench a Grok helyett a Claude 3.7 Sonnet-et mérte, és az Anthropic MI-je rögtön az első helyen végzett. A sorrend – különösen új modellek megjelenésekor – gyorsan változhat, de a benchmarkok néhány hiányossága, korlátja így is szembeötlő.
A legtöbb benchmark például egyáltalán nem értékeli a sebességet, a késleltetést, és nem veszi figyelembe a futtatási környezet miatti (például infrastrukturális vagy biztonsági) kompromisszumokat. A modellek általában egyszerre csak egy gondolkodási mód szerint funkcionálnak, például szövegek más nyelvre fordítása, matematikai feladatok megoldása vagy az adott listán szereplő, de nem oda tartozó elemek kiszűrése. Ezek mind különböző típusú, sok esetben viszont valamilyen kombinációban együtt használt emberi képességek.
A benchmarkok szerepe
 A benchmarking kérdése csak egy szelete az egyre kevesebb szereplős MI-piac által okozott problémáknak. A nagy nyelvi modellek fejlesztése és üzemeltetése olyan erőforrásokat kíván, amellyel nem csupán független szervezetek, de – kevés kivételtől eltekintve – teljes nemzetgazdaságok sem igen rendelkeznek. Ezért kevés az információ az egyes modellek pontos tulajdonságairól és teljesítményéről, még ha léteznek is nyílt forráskódú vagy nyílt súlyozású modellek (például a Mistral). De éppen a hatalmas erőforrás-igények miatt még a nyílt vagy részben nyílt rendszerek tesztelése is komoly erőforrásokat kíván, mondja Gulyás László, az ELTE Mesterséges Intelligencia Tanszékének docense, a Neumann Társaság – NJSZT alelnöke, az AI EDIH szalmai vezetője. A tesztelés nem jelent feltétlenül egyben rangsorolást is. Bár ma divat a különféle termékeket egy-egy adott mérőszám alapján sorrendbe állítani, könnyen belátható, hogy nem lehet mindent ennyire leegyszerűsíteni. Meg lehet próbálni, hogy akár egy, akár több benchmark alapján rakjuk sorba a különféle MI-modelleket. Nem biztos azonban, hogy ez a jó módszer. Hasznosabb lehet, ha többé-kevésbé standardizált feladat- és témakörökben mérjük a rendszerek képességeit. Ott sem feltétlenül az abszolút sorrendet kell keresni, hanem inkább a biztosan elért (és a számunkra szükséges) szinteket kell figyelembe venni. |
A benchmarkok a modellek referenciaértékeinek meghatározásakor a különböző kontextus-szinteket sem veszik mindig figyelembe: például más szint az alkotás képessége és más a kockázat felmérésének készsége. Nehezen vagy egyáltalán nem számszerűsíthető emberi tulajdonságok, mint az érzelmi intelligencia, a tisztesség vagy az integritás pedig egyetlen referenciaértékkel sem modellezhetők.
Egy kiegyensúlyozott mutatórendszer ugyan segíthet eldönteni a vállalatoknak, hogy mely modellekkel érdemes dolgozniuk, de a döntés jóval bonyolultabb, mint ahogy az az ismertetőkből kitűnik. Soha nem szabad megfeledkezni arról, hogy a benchmarkok önmagukban nem elegendők a modellek értékeléséhez; helyettük érdemes lehet inkább a relatív teljesítmény kritikus mutatóit figyelembe venni.
Az érvelő-következtető modellek problémái
A tavaly berobbant, gondolatláncon alapuló érvelő-következtető modellek – és az AI agentek – tovább bonyolítják az összképet: értékelésükhöz nincs még igazán megbízható, komplex teszt.
A modellek teljesítményeit és költségeit nyomon követő, havi több száz értékelést végző Artificial Analysis számos népszerű benchmarkokon tesztelte a hagyományos és a gondolatlánc-szerű MI-ket. A „vizsgáztatáshoz” speciális tudást vagy többlépéses gondolkodást igénylő feladatokat, például matematikai problémák megoldását, vagy számítógépes programok generálását használtak.
A szervezet kutatásaiból egyértelműen kiderül, hogy míg az MI-modellek használatának tokenenkénti költsége általánosságban csökken, a teljesítményük pedig nő, addig az összetett, többlépéses feladatokon dolgozó, érvelő-következtető MI-k több tokent generálnak, tehát drágább a futtatásuk, és a fejlesztők is magasabb árat számolnak fel legújabb modelljeik használatáért.
A tesztelés sem olcsó mulatság
Ez pedig rávilágít a modellek összehasonlíthatóságának egy másik problémájára: a tesztelések egyre nagyobb költséggel járnak. Emiatt viszont egyre kevesebb labor erősíti vagy kérdőjelezi meg a fejlesztő által bejelentett eredményeket, így nehezebbé válik a nem nyílt forráskódú modellek összehasonlítása. Objektív(nek tekinthető) mérőszámok híján viszont nehezebb lesz a dolga mindazon szervezeteknek, startupoknak és vállalatoknak, amelyek szeretnének megalapozott döntést hozni, vagy ellenőrizni a fejlesztők által közölt eredményeket.
Az Artificial Analysis adatai alapján az OpenAI o1 érvelő modelljének kiértékelése 2767 dollárba került hét benchmarkon (MMLU, GPQA, HLM, LiveCodeBench, AIME, SciCode és MATH-500). Ugyanezeken a teszteken a „hibrid” Claude 3.7 Sonnet vizsgálata 1485 dollárt, az o3-mini-high 344 dollárt, az o1-mini pedig 141 dollárt emésztett fel. A szervezet összesen 5200 dollárt költött nagyjából tucatnyi érvelő-következtető modell kiértékelésére. Összehasonlításképpen: nyolcvannál több hagyományos modell elemzése összesen mintegy 24 ezer dollárba került.
Ilyen feltételek mellett lassan alig maradnak az eredményeket megismételni képes cégek. Ha egy eredmény nem ismételhető meg, törvényszerűen és a múlt negatív példáiból tanulva, megkérdőjeleződik a hitelessége, tudományossága. Ezt kiküszöbölendő, több MI-fejlesztő (köztük az OpenAI) teljesítményértékelő szervezetek számára ingyenes vagy támogatott hozzáférést biztosít a modelljeikhez. A segítség azonban beárnyékolja az eredményeket: hiába nincs bizonyíték a trükközésre, a pontozás integritásának manipulálása nem zárható ki.
