A Wikimedia Alapítvány bejelentette, hogy az automatizált MI-botok jelentős nyomást gyakorolnak a Wikipédia infrastruktúrájára. Ezek a botok – amelyek nyelvi modellek tanításához keresnek adathalmazokat – elképesztő mennyiségben töltik le az oldalakon található tartalmakat, különösen a multimédiás fájlokat. A sávszélesség-felhasználás 2024 januárja óta 50 százalékkal nőtt, főként az ilyen célú letöltések miatt.
A probléma nem egyedülálló: a szabad és nyílt forráskódú szoftverközösségek is hasonló kihívásokkal szembesülnek. A Wikimedia nemcsak a Wikipédiát működteti, hanem például a Wikimedia Commons platformot is, ahol jelenleg 144 millió szabad licencű médiafájl található. Ezeket a tartalmakat évek óta használják keresőmotorok, iskolai projektek vagy tudományos munkák is. Azonban 2024 eleje óta a MI-fejlesztő cégek jelentősen fokozták a letöltési aktivitásukat: közvetlen webes mászások, API-hívások és tömeges letöltések révén igyekeznek minél több adatot begyűjteni a modelljeikhez. Ez az automatizált, nem emberi forgalom nemcsak technikai, hanem pénzügyi terhet is ró az alapítványra, ráadásul gyakran anélkül, hogy a tartalom forrását feltüntetnék, amire pedig a Wikipédia önkéntes ökoszisztémájának fenntarthatósága szempontjából szükség lenne.
Kimutatható adatok
A hatás nem pusztán elméleti. Amikor 2024 decemberében elhunyt Jimmy Carter volt amerikai elnök, rengetegen látogatták meg az életrajzi oldalát a Wikipédián. Az igazi megterhelést azonban az jelentette, hogy az emberek egyszerre kezdték el streamelni az 1980-as televíziós vitájáról készült másfél órás videót a Wikimedia Commonsról. Az adatforgalom duplájára nőtt, néhány internetkapcsolat pedig ideiglenesen a kapacitása határára ért. Az alapítvány mérnökei gyorsan átterelték a forgalmat más csatornákra, de az eset rávilágított egy mélyebb problémára: a hálózati kapacitás nagy részét már előzőleg felemésztették a médiatartalmat nagyüzemben letöltő botok.
Hasonló jelenségekről számoltak be más nyílt forráskódú projektek is. A Fedora Pagure adattára például blokkolta a teljes brazíliai forgalmat, miután túlzott mértékű adatletöltést észleltek. A GNOME GitLab szervere munkabizonyításos (proof-of-work) kihívásokat vezetett be, hogy kiszűrje a túl aktív botokat. A Read the Docs szolgáltatás jelentősen csökkentette a sávszélesség-költségeit, miután letiltotta az MI-crawlereket (MI-robotokat).
Megkerülő lépések
A Wikimedia belső adatai szerint a botok sokkal költségesebb forgalmat generálnak, mint az emberek. Míg a humán felhasználók főként népszerű, gyakran gyorsítótárazott oldalakat böngésznek, a botok olyan ritkán látogatott tartalmakat is elérnek, amelyeket a rendszer közvetlenül a központi adatközpontból szolgál ki. Ez megkerüli az optimalizált gyorsítótárazási mechanizmusokat, amelyek épp az emberi viselkedésre lettek kialakítva.
A Wikimedia szerint az infrastruktúra legnagyobb erőforrásigényű lekéréseinek 65 százalékáért a botok felelősek, pedig ezek a lekérések csupán az összes oldalletöltés 35 százalékát adják. Ez az aránytalanság technikai szempontból is figyelemre méltó: egy bot által generált kérés lényegesen többe kerül, mint egy emberi felhasználóé, és a költségek gyorsan összeadódnak.
A helyzetet tovább nehezíti, hogy sok MI-robot nem tartja be a szokásos webes irányelveket. Néhányuk figyelmen kívül hagyja a robots.txt fájl utasításait, mások hamis böngészőazonosítókat használnak, hogy emberi felhasználónak álcázzák magukat, sőt előfordul, hogy otthoni IP-címeket forgatnak, hogy elkerüljék a blokkolást. Ezek a módszerek annyira elterjedtek, hogy egyes független fejlesztők drasztikus lépéseket kényszerültek bevezetni a saját adattáraik védelmére.
A Wikimedia Site Reliability csapata emiatt folyamatos védekezésre kényszerül. Minden olyan óra, amit botok korlátozására vagy túlterhelési helyzetek enyhítésére fordítanak, olyan idő, amit nem tudnak a közösségi fejlesztésre vagy műszaki fejlesztésekre fordítani. A probléma nemcsak a tartalmi platformokat érinti, hanem például a Wikimedia hibakövető és kódellenőrző rendszereit is, amelyek szintén a célkeresztbe kerültek.
Hamis, téves hibajelentések
Ez a jelenség az MI-adatgyűjtés általános problémáira is rávilágít. A cURL fejlesztője, Daniel Stenberg korábban már beszámolt arról, hogyan pazarolják a fejlesztők idejét a hamis, MI által generált hibajelentések. Drew DeVault, a SourceHut bloggere pedig arról írt, hogy botok rendszeresen túlterhelik a gitnapló-lekérdezéseket, messze túllépve a normál emberi használatot.
Világszerte egyre több nyílt platform keres technikai megoldásokat erre a kihívásra: ilyenek például a munkabizonyításos belépők, a lassított válaszidőt szimuláló „csapdák”, az együttműködésen alapuló crawler-blokkoló listák, vagy épp a Cloudflare AI Labirintus nevű szolgáltatása. Ezek mind azt a technikai szakadékot próbálják áthidalni, amely az emberi használatra tervezett infrastruktúra és az ipari méretű MI-adatgyűjtés között feszül.
A Wikimedia hangsúlyozza, hogy továbbra is elkötelezett a „tudás mint szolgáltatás” eszméje mellett, és tartalmaikat továbbra is szabadon hozzáférhetővé kívánják tenni. Ugyanakkor világossá teszik: míg a tartalom ingyenes, az infrastruktúra nem az. Épp ezért indították el az új WE5 nevű kezdeményezést, amely a felelős infrastruktúrahasználatot célozza. A program célja, hogy kevésbé erőforrás-igényes hozzáférési módszerek felé terelje a fejlesztőket, és fenntartható, de nyitott kereteket alakítson ki.
A kihívás abban rejlik, hogy miként lehet egyensúlyt teremteni az online tudásközösségek és a kereskedelmi MI-fejlesztés között. Sok vállalat a nyílt tudásra építi modelljeit, miközben semmit sem ad vissza azoknak az infrastruktúráknak, amelyek ezt lehetővé teszik. Ez a technikai egyensúlytalanság komolyan veszélyezteti a közösségi alapon működő platformok fenntarthatóságát.
A megoldás az együttműködés lehet: közös API-k, megosztott infrastruktúrafinanszírozás vagy hatékonyabb hozzáférési minták révén. Amennyiben azonban nem történik előrelépés, azok a rendszerek, amelyek lehetővé tették az MI fejlődését, maguk kerülhetnek veszélybe. A Wikimedia figyelmeztetése világos: a szabad hozzáférés nem jelent szabadságot a következmények alól.
