Andrej Karpathy neves MI-kutató, az OpenAI és a Tesla korábbi munkatársa egy könnyed javaslatot tweetelt, miszerint a ChatGPT-t működéséhez hasonló nagy nyelvi modelleket (LLM-eket) egy nap úgy lehetne módosítani, hogy az űrben működjenek, vagy az űrbe küldjék őket, potenciálisan a földönkívüli élettel való kommunikáció céljából. Azt mondta, hogy az ötlet „csak szórakozásból” jött, de a területen betöltött befolyásos profilja miatt a jövőben másokat is inspirálhat.
Karpathy jóhiszeműsége a mesterséges intelligencia területén szinte önmagáért beszél, hiszen 2015-ben doktorált a Stanfordon Dr. Fei-Fei Li informatikusnál. Ezt követően az OpenAI egyik alapító tagja lett kutatótudósként, majd 2017 és 2022 között a Tesla MI vezető igazgatójaként dolgozott. Karpathy 2023-ban egy évre visszatért az OpenAI-hoz, majd tavaly februárban távozott. Számos nagyra értékelt, mesterséges intelligencia fogalmakat tárgyaló oktatóanyagot tett közzé a YouTube-on, és amikor a mesterséges intelligenciáról beszél, az emberek odafigyelnek rá.
Legutóbb Karpathy egy „llm.c” nevű projekten dolgozott, amely az OpenAI 2019-es GPT-2 LLM-jének képzési folyamatát valósítja meg tiszta C nyelven, drámaian felgyorsítva a folyamatot, és demonstrálva, hogy az LLM-ekkel való munka nem feltétlenül igényel összetett fejlesztői környezetet. A projekt áramvonalas megközelítése és tömör kódbázisa beindította Karpathy fantáziáját.
„Az llm.c könyvtáram tiszta C-ben íródott, egy nagyon jól ismert, alacsony szintű, rendszerközeli nyelven, ahol közvetlen irányításod van a program felett. Ez ellentétben áll az ilyen modellek képzésére szolgáló tipikus mélytanulási könyvtárakkal, amelyek nagy, összetett kódbázisokban íródnak. Az llm.c előnye tehát, hogy nagyon kicsi és egyszerű, és ezért sokkal könnyebb űrbiztonságosnak minősíteni”,
mondta Karpathy.
Az MI nagykövet
Karpathy játékos gondolatkísérletében (címe: „Egyértelmű, hogy az LLM-eknek egy nap az űrben kell futniuk”) kétlépcsős tervet javasolt, amelyben kezdetben az LLM-ek kódját úgy alakítanák át, hogy megfeleljen a szigorú biztonsági előírásoknak, hasonlóan a NASA által az űrbe küldött szoftverek számára elfogadott „10 szabály erejéhez”.
Az első lépést komolyan gondolta: „Az llm.c-t úgy eddzük, hogy megfeleljen a NASA kódszabványainak és stílusirányelveinek, tanúsítva, hogy a kód szuperbiztos, elég biztonságos ahhoz, hogy az űrben fusson. Az LLM képzés/következtetés elvileg szuperbiztonságosnak kell lennie – ez csak egy fix float tömb, és egyetlen, korlátos, jól definiált dinamikai ciklus rajta. Nincs szükség arra, hogy a memória meghatározatlan módon nőjön vagy csökkenjen, rekurzióra vagy bármi ilyesmire”, írta X- (Twitter-) bejegyzésében.
Clearly LLMs must one day run in Space
Step 1 we harden llm.c to pass the NASA code standards and style guides, certifying that the code is super safe, safe enough to run in Space.https://t.co/tYGrfdka4X (see the linked PDF)
LLM training/inference in principle should be super…— Andrej Karpathy (@karpathy) May 2, 2024
Ez azért fontos, mert amikor a szoftvert az űrbe küldik, szigorú biztonsági és megbízhatósági szabványok szerint kell működnie. Karpathy szerint az ő kódja, az llm.c valószínűleg azért felel meg ezeknek a követelményeknek, mert az egyszerűség és a kiszámíthatóság áll a tervezés középpontjában.
„Ezt egy sci-fi lehetőségként és érdekességként képzelem el, amin érdemes elgondolkodni. Az ötlet az, hogy nem mi utazhatunk a csillagokhoz, hanem a mesterséges intelligencia képvisel minket – mindez igaz lehet más fajokra is”,
mondta. (Az 1963-ban épült, amerikai szövetségi szervezetek által üzemletetett, arecibói, chilei rádiócsillagászati állomás, a valaha volt legnagyobb, 305 m, 1000 láb átmérőjű, egy völgy talajából kialakított, gömb alakú rádióteleszkóp 2020-ban, több, korábbi, időjárás eredetű kár következtében véglegesen tönkrement, mondhatni gazdasági totálkáros lett. – a szerk.)
Karpathy nem az első, aki azt javasolja, hogy LLM-eket küldjenek az űrbe. 2022 decemberében, nem sokkal a ChatGPT elindítása után Josh Bongard, a Vermonti Egyetem robotika professzora egy sci-fi regény ötletét tweetelte: „Elküldjük a ChatGPT-t az űrbe, utasításokkal arra vonatkozóan, hogyan kérdezhetik le az ET-k, hogy megtudjanak valamit az emberiségről”.
Az LLM-ek az emberi tudás nagymértékben tömörített interaktív könyvtárát jelentik, amely szinte bármilyen kérdés megválaszolására szolgálhat, amit az idegenek az emberi civilizációról kérdezhetnek (az is lehet, hogy konfabulál információkat, kitalál rólunk dolgokat, ahol hiányos a tudás, de az idegenek nem fogják tudni a különbséget).
Egy 2023. októberi blogbejegyzésében Lee Mallon szoftverfejlesztő elképzelte, hogy egy LLM-et küld a mélyűrbe.
„Ezen az egyedülálló cserén keresztül egy másik civilizáció ízelítőt kaphatna a kultúránkból, a művészi kifejezéseinkből, és azokból az ugrásokból, amelyeket a technológia és a világunk megértése terén tettünk. Meghallgathatnák a verseinket, elolvashatnák a történeteinket, és talán még egy jó mémet is értékelhetnének, meglátva emberi természetünk fényesebb oldalát”,
írta.
Persze az űrbe szállított LLM futtatásához a földönkívüli civilizációnak fejlett számítási képességekkel kellene rendelkeznie, és ismernie kellene azt a formátumot, amelyben a modell súlyai kódolva vannak. Szükségük lenne egy kompatibilis hardverarchitektúrára, amely képes lenne feldolgozni a modell futtatásához szükséges mátrixműveleteket, valamint egy olyan szoftveres keretrendszerre, amely képes lenne értelmezni a bináris fájlt és inicializálni az LLM-et. De még ha nem is adunk utasításokat arra vonatkozóan, hogyan kell mindezt megépíteni, egy elég okos faj talán képes lesz magától is rájönni.
„A futtatás szerintem egyszerű lenne, mert az alapvető utasításkészletet nagyon kicsivé lehetne tenni, például akár csak egyetlen NAND-kaput, ami önmagában is univerzális. A nagyobb probléma az lenne, hogy kimenetként szöveget kapnának – például angolul, és az LLM-mel való interakció révén hosszú időn keresztül maguknak kellene megtanulniuk, hogyan kell értelmezniük”,
mondta Karpathy.
E kihívások ellenére, ha a földönkívüli civilizáció sikeresen megfejtené és futtatná az LLM-et, az új utat nyithatna a csillagközi kommunikáció és tudáscsere előtt, feltéve, hogy a modellt az emberi tudás széles skáláján képeznék ki. Mivel azonban a mesterséges intelligencia képzési adathalmazainak ismert torzításai miatt csak elképzelni tudjuk, milyen harcok törhetnek ki azon, hogy ki döntheti el, mi kerüljön be az LLM-be, amelyet feltételezhetően az űrbe küldünk.
De valóban jó ötlet mindez?
Az LLM űrbe történő sugárzásának vagy fellövésének ötlete érdekes kérdéseket vet fel a biztonsági és etikai megfontolásokkal kapcsolatban. Az idegen civilizációknak szóló üzenetek küldése, amelyet gyakran aktív „SETI-nek” (földönkívüli intelligencia keresése) neveznek, a múltban egyesek számára ellentmondásos téma volt. A kritikusok jellemzően azzal érvelnek, hogy jelenlétünk és technológiai képességeink szándékos sugárzása ismeretlen idegen civilizációk felé potenciálisan nemkívánatos figyelmet kelthet az ellenséges entitások részéről. Ez pedig veszélybe sodorhatja a bolygónkat vagy a fajunkat.
Karpathy maga is tisztában van a kockázatokkal. „Ó, abszolút, komoly biztonsági aggályok. Lásd a ‘Három test probléma’ című könyvet”, mondta, utalva Liu Cixin 2008-as regényére, amelyben egy földönkívüli civilizáció elfog egy üzenetet a Földről, majd inváziót indít. Az ellenséges hatalomátvételen kívül a másik kockázat az, hogy az elfogadó idegenek is rossz képet kaphatnak rólunk az LLM-től, ha az emberi kultúra széles spektrumán képeznék ki őket.
Lee Mallon blogbejegyzésében azt írta:
„Miközben digitális tudásunk mélységeiben társalognak, történetünk sötétebb fejezeteibe is belebotlanának. Megtudhatnák, hogy mi a háborús hajlamunk, a kapzsiságunk és a sok pusztító eszköz, amit készítettünk. Ez ijesztő képet festhet rólunk, potenciális fenyegetésként jelenhetünk meg. Elkezdhetnének azon gondolkodni, hogy vajon jó ötlet-e kozmikus hívást adni nekünk, vagy a katasztrófa receptje, esetleg teljesen el kell-e távolítani minket a sakktábláról.”
De még ha az LLM-et kizárólag az emberiség jobb tulajdonságai alapján képeznénk is ki, a technikai hátrányok és az első kapcsolatfelvétel csemegéi miatt nem biztos, hogy a legjobb csillagközi diplomata lenne belőle. A gondolatkísérlet kedvéért félretéve a kényes árnyalatokat, ha az LLM-ek lesznek a csillagközi nagyköveteink, Karpathy viccelődik annak fontosságán, hogy magasan csiszolt kódot küldjenek, hogy képviseljék az emberiséget a tágabb univerzum felé:
„Talán egy nap mi magunk is találunk majd odakint LLM-eket az idegenek helyett közvetlenül. Talán az LLM-ek megtalálják egymást. Biztosra kell mennünk, hogy a kód nagyon jó legyen, különben az elég kínos lenne.”
(forrás)
