Keddi cikkünkben írtuk meg, hogy a Cloudflare nyilvánosságra hozta, hogy a Perplexity mesterséges intelligencia-alapú keresőmotorja a weboldalak tiltásait megkerülve éri el és dolgozza fel azok tartalmát.
A közlemény megjelenése után sokan a Perplexity védelmére keltek. A védelmezők azt állítják, hogy bár vitatható, hogy a Perplexity az oldaltulajdonos akarata ellenére is hozzáfér weboldalakhoz, ez még elfogadható viselkedés. A vita pedig az az AI-ügynökök robbanásszerű szaporodásával várhatóan csak egyre élesebb lesz: vajon úgy kell-e kezelni egy ilyen ügynököt, amely egy felhasználó nevében kérdez le egy weboldalt, mint egy botot – vagy inkább úgy, mint egy embert, aki ugyanezt a kérést intézi?
A Cloudflare arról ismert, hogy anti-bot védelmet és más webbiztonsági szolgáltatásokat nyújt több millió weboldalnak. A mostani esetben a cég munkatársai létrehoztak egy új domént és weboldalt, amelyet korábban semmilyen bot nem látogatott, beállítottak egy robots.txt fájlt, amely kifejezetten tiltotta a Perplexity ismert AI-botjait, majd feltették a kérdést a Perplexitynek az oldal tartalmáról. És a Perplexity válaszolt rá. Részletek a keddi cikkben. A Cloudflare vezérigazgatója, Matthew Prince, az X-en közzétette a kutatást, és azt írta: „Néhány állítólag ‘megbízható’ AI cég úgy viselkedik, mint az észak-koreai hackerek. Itt az ideje, hogy megnevezzük, megszégyenítsük és keményen blokkoljuk őket.”
A védelmezők
Sokan azonban nem értettek egyet Prince értékelésével, miszerint ez valóban káros viselkedés lenne. A Perplexity védelmében az X-en és a Hacker Newson azt írták, hogy a Cloudflare valójában azt dokumentálta, hogy az AI egy konkrét nyilvános weboldalt ért el, amikor a felhasználó erre az oldalra kérdezett rá.
„Ha én, mint ember kérek le egy weboldalt, akkor annak tartalmát láthatom” – írta valaki a Hacker Newson –, „akkor miért lenne jogilag más kategóriába sorolva az, ha egy LLM teszi ezt meg helyettem, mint amikor én a Firefox böngészőmmel teszem ugyanezt?”
A Perplexity szóvivője korábban tagadta a TechCrunchnak, hogy a kérdéses botok a céghez tartoznának, és azt mondta, hogy a Cloudflare blogbejegyzése valójában egy marketingfogás a saját szolgáltatásaik népszerűsítésére. Kedden pedig a Perplexity maga is közzétett egy blogbejegyzést, amelyben védelmébe vette magát (és támadta a Cloudflare-t), azt állítva, hogy a kifogásolt viselkedés egy olyan, harmadik fél nyújtotta szolgáltatástól származott, amelyet csak időnként használnak.
De a Perplexity bejegyzésének lényege hasonló érvelés volt, mint amit a védelmezői is hangoztattak. „Az automatizált feltérképezés (crawling) és a felhasználói kérés alapján történő lekérés (fetching) közötti különbség nem csak technikai jellegű – hanem arról szól, hogy ki férhet hozzá az információhoz a nyílt weben” – áll a Perplexity blogposztjában. „Ez a vita rávilágít arra, hogy a Cloudflare rendszerei alapvetően alkalmatlanok arra, hogy megkülönböztessék a legitim AI-asszisztenseket a valódi fenyegetésektől.”
Bezzeg mások
A Perplexity vádjai ugyanakkor nem teljesen igazságosak. A Cloudflare és vezérigazgatója, Matthew Prince egyik érve az volt, hogy például az OpenAI nem folytat ilyen gyakorlatot.
„Az OpenAI jó példa egy vezető AI-cégre, amely követi a bevett irányelveket” – írta a Cloudflare. „Ők tiszteletben tartják a robots.txt fájlokat, és nem próbálják meg kijátszani sem az ebben szereplő tiltásokat, sem a hálózati szintű blokkolást. Emellett a ChatGPT Agent az új, javasolt Web Bot Auth szabvány szerint aláírja a http-kéréseit.”
A Web Bot Auth egy Cloudflare által is támogatott, az Internet Engineering Task Force (IETF) által fejlesztett szabvány, amely kriptográfiai azonosítást tenne lehetővé az AI-ügynökök által indított webes kéréseknél.
Ez a vita egy olyan időszakban zajlik, amikor a bottevékenység alapjaiban formálja át az internet működését. Ahogy a TechCrunch korábban is beszámolt róla, azok a botok, amelyek hatalmas mennyiségű tartalmat próbálnak lementeni AI-modellek betanításához, különösen a kisebb weboldalak számára jelentenek egyre nagyobb problémát.
Súlypontáthelyeződés
A történelem során először fordul elő, hogy a bottevékenység túlszárnyalja az emberi tevékenységet az interneten: az Imperva „Bad Bot” jelentése szerint az internetes forgalom több mint 50%-át jelenleg AI-forgalom adja. Ennek túlnyomó részét a nagy nyelvi modellek (LLM-ek) generálják. A jelentés szerint a rosszindulatú botok az összes internetes forgalom 37%-át teszik ki – ez magába foglalja a tartalom másolásától kezdve a jogosulatlan bejelentkezési kísérletekig számos tevékenységet.
Az LLM-ek megjelenéséig elfogadott volt, hogy a weboldalak joggal blokkolhatják a botokat –mivel azok gyakran kártékonyak – CAPTCHA-val és olyan szolgáltatásokkal, mint a Cloudflare. A weboldalak együttműködtek bizonyos „jóindulatú” botokkal, mint például a Googlebot, és a robots.txt fájl segítségével szabályozták, hogy mit indexelhetnek. A Google indexálta az internetet, és így forgalmat irányított a weboldalakra.
Most azonban az LLM-ek egyre nagyobb részét „fogyasztják el” ennek a webes forgalomnak. A Gartner előrejelzése szerint a keresőmotorokon végzett lekérdezések száma 2026-ra 25%-kal csökkenhet. Jelenleg az emberek akkor kattintanak a weboldalakra az LLM-ek válaszaiban, amikor azok valóban értéket képviselnek számukra – például egy vásárlás vagy tranzakció előtt.
De ha az emberek valóban elkezdik használni az AI-ügynököket – ahogyan azt a technológiai iparág jósolja –, hogy azok megszervezzék az utazásaikat, asztalt foglaljanak vagy vásároljanak helyettük, vajon a weboldalak nem ártanak-e saját üzleti érdekeiknek, ha ezeket az ügynököket blokkolják?
Vélemények
A vita az X-en tökéletesen megfogta ezt a dilemmát:
„Szeretném, ha a Perplexity bármely nyilvánosan elérhető tartalomhoz hozzáférne helyettem, ha én kérem meg rá!” – írta valaki válaszul a Cloudflare vádjaira.
„Mi van akkor, ha az oldal tulajdonosai ezt nem akarják? Ők azt szeretnék, ha TE látogatnád meg az oldalukat közvetlenül, hogy meglásd, amit kínálnak” – érvelt egy másik hozzászóló, rámutatva arra, hogy a tartalomkészítő a forgalmat és az abból származó hirdetési bevételt szeretné megkapni, nem pedig azt, hogy a Perplexity használja fel az anyagát.
„Ezért nem látom, hogy az ‘ügynöki böngészés’ igazán működőképes lenne – ez sokkal bonyolultabb probléma, mint azt sokan gondolják. A legtöbb weboldaltulajdonos egyszerűen blokkolni fogja” – jósolta egy harmadik felhasználó.
Forrás: techcrunch.com
