Osmog rujna ove godine iz Anthropica je otišao Jacob Coxon, 27-godišnji istraživač koji je prije toga radio u OpenAI-ju. Na X-u je objavio da obje tvrtke "jure ravno prema superinteligenciji koja se sama poboljšava i kockaju se našim životima". Objava je preko noći skupila gotovo 76 milijuna pregleda, a Wall Street Journal je istog dana imao ekskluzivni intervju s njim. Uslijedili su i drugi.

Usput, recursive self-improvement (RSI) ne radi, a raniji pokušaji su pokazali da treniranje na vlastitim podacima ima poznat rizik. To je model collapse. Kad se model trenira samo na izlazima prethodne generacije, najprije gubi rijetke i neobične primjere, a onda mu kvaliteta pada. Rezultat je sve uniformniji i sve lošiji izlaz, odnosno ono što popularno zovemo AI slop.

Ali – zašto bi novinari bili toliko nepristojni da to postave u obliku pitanja? Kajgod…

Da je ostalo na tome, bio bi to još jedan dramatičan odlazak. No Evan Hubinger, koji u Anthropicu vodi znanost o usklađivanju modela, javno se složio s Coxonom: "Mi zaista iskreno vjerujemo da bi AI mogao ubiti sve ljude." Dodao je da je rizik od sadašnjih modela nizak, a da zabrinutost izaziva superinteligencija koja tek dolazi.

Dolazi kao i „brzi iz Perkovića“ koji kasni u polasku… S tim da za brzi iz Perkovića ima dokaza da je i došao – ljudi koji su se njime vozili. Za „superinteligenciju“ vrijeme dolaska se samo pomiče, a nije baš da imamo i jasnu definiciju što je to.

Pridružili su im se i drugi sadašnji zaposlenici, jednako smireno. Procjene su se kretale od deset do pedeset posto šanse da čovječanstvo nestane u idućem desetljeću. Statistički model po kojem su došli do ovih izračuna? Trust me, bro…

Tri dana kasnije, 11. rujna, direktor Anthropica Dario Amodei objavio je podulji (i dosadan) esej u kojem traži namjerno usporavanje razvoja umjetne inteligencije (dalje AI) i izuzeće od antitrustovskih zakona (nije loša ideja – zakoni su za kmetove), kako bi se vodeći laboratoriji mogli dogovoriti da zajedno "usporavaju razvoj frontier modela". Prema pisanju The Levera, Anthropic je istih dana potvrdio da izlazi na burzu. I nastavlja razvijati svoje modele

Proturječno? Cinično? Dečki se tek zagrijavaju.

Tvrtka kaže da gradi nešto što bi moglo uništiti čovječanstvo, a ne prestaje to graditi. Traži da joj država dopusti dogovaranje s konkurencijom, a ide na burzu. Njezini zaposlenici procjenjuju „vjerojatnost apokalipse“ (izvučene iz dupeta) kao da procjenjuju hoće li sutra padati kiša.

To nije ni čisti cinizam ni čisto ludilo. Riječ je o ideologiji, i ona ima svoju povijest.

Samouki prorok: osmoškolac autoritet budućnosti čovječanstva

Eliezer Yudkowsky rođen je 1979. u Chicagu. Po vlastitom pričanju, od javnog školstva je digao ruke već u drugom razredu, kad je „otkrio da njegova učiteljica matematike ne zna što je logaritam“. Jednostavno prepametan za školu, pa ju je oko osmog razreda napustio, dijelom iz zdravstvenih razloga. Nije pohađao ni srednju školu ni fakultet. Sve što zna naučio je sam, što sam i ističe kao prednost. Ovo kad ti drugi, koji znaju ponešto, pišu kurikul, ne valja. Najbolje je kad sam sebe učiš, a nemaš pojma što sve ne znaš i što trebaš naučiti. Žalibože škola i fakulteta i na što mi sve trošimo novce…

Naravno, samoukost sama po sebi nije mana. Povijest poznaje samouke genije. No samouki genij obično se prije ili kasnije suoči s ljudima koji znaju više od njega, s recenzijama, laboratorijima i stvarnim podacima. Yudkowsky je umjesto toga sredinom devedesetih, kao tinejdžer, završio na takozvanim „transhumanističkim“ mailing listama. Tamo su ga dočekali ljudi koji su već vjerovali u isto što i on.

Transhumanisti su, u najkraćoj definiciji astrofizičara Adama Beckera, autora knjige More Everything Forever, "ljudi koji više ne žele biti ljudi". Tijelo i smrt žele pobijediti strojevima, računalima i nanotehnologijom. (Usput, sva kultovska terminologija oko AI-ja koja se u medijima ponavlja papagajski, a bez razumijevanja, u pravilu je slabo definirana.)

Najutjecajnija takva lista zvala se Extropians. Ime im je došlo od nerazumijevanja termodinamike: smatrali su da se bore protiv entropije. Toliko o samoukosti.

Tu se već vidi obrazac koji se ponavlja kroz cijelu priču. Ideje su preuzete iz znanstvene fantastike i pročitane kao prognoza. Naime, sva znanstvena fantastika koju su čitali događala se u budućnosti i imala je superinteligentne strojeve, pa su zaključili da budućnost izgleda tako, samo ako se dovoljno potrude i dovoljno žele.

Oko 2000. godine, s 21 godinom, Yudkowsky je uz novac bračnog para internetskih poduzetnika Briana i Sabine Atkins osnovao Singularity Institute for Artificial Intelligence. Cilj mu je bio ubrzati dolazak superinteligencije, koja će prema toj viziji „otkupiti povijest“ u teološkom smislu spasenja (dafuq?). Imajte na umu da još uvijek govorimo o samozvanim „racionalistima“, samo je njihov odabrani budući bog – AI.

Ubrzo je promijenio mišljenje. Dok je pisao velik izvještaj za vlastiti institut, uvjerio se da superinteligencija neće biti prijateljska ako se ne napravi "kako treba" i da će vjerojatno sve pobiti.

Vidimo obrazac – učiteljica ne zna logaritme, stvarni znanstvenici ne znaju napraviti umjetnu inteligenciju (s nama od kraja 50-tih) „kako treba“. Dečko i kad bi se odmorio, jednostavno ne može – prilike mu ne daju dahnut, breme svijeta je na njegovim plećima…

Za razumijevanje današnjeg trenutka ovo je ključno. Bilo je to razdoblje takozvane AI zime, kad nije bilo ni velikih jezičnih modela (LLM) ni ičega nalik njima. Strah je nastao isključivo iz misaonih eksperimenata: ako bi se AI mogao sam poboljšavati, postao bi superinteligentan, a što bi onda bilo? Pritom Yudkowsky nikad nije tražio da se AI zauvijek zabrani. Tražio je da se zaustavi dok on i njegovi ne shvate kako ga napraviti sigurnim, a onda punom brzinom naprijed. Utopija je ostala ista, promijenio se samo put do nje. U toj shemi Yudkowsky nije samo prorok nego i budući čuvar, čovjek koji će digitalnom bogu objasniti kako da voli ljude.

Osmoškolac koji je od drugog razreda znao više od učiteljice sad je znao više i od svih inženjera na svijetu.

Od foruma do grupnih kuća:  slika kulta

Yudkowsky je, inače, napuštanju škole usprkos, nevjerojatno plodan spisatelj, bez obzira što tko mislio o kvaliteti napisanoga. Pokrenuo je blog LessWrong, koji je postao središte zajednice. Sljedbenici su se počeli okupljati u zaljevu San Francisca, živjeti u zajedničkim kućama, organizirati radionice iz „racionalnosti“ koje su stajale nekoliko tisuća dolara i razvijati vlastiti žargon: p(doom), alignment, x-risk, "ažuriraj svoje priore". Klađenje na prediction marketima poput Manifolda postalo je način dokazivanja da netko misli jasno, jer kad je novac u igri, pristranosti navodno nestaju. Znaju svi koji igraju sportsku prognozu, recimo.

Kao sredstvo novačenja poslužio je fanfiction. Između 2010. i 2015. Yudkowsky je objavio „Harry Potter and the Methods of Rationality“, roman je dulji od „Rata i mira“. Rekli bismo – „mi smo ga pročitali da ne morate vi“, ali jednostavno ga nismo pročitali, a tko ima slobodnog vremena neka proba pa nam javi dokle je došao.

Prepričavamo na osnovu internetskih izvora iz druge ruke.

Milijarder upoznaje proroka

U drugoj polovici 2000-ih Yudkowsky, tad u srednjim dvadesetima, upoznaje Petera Thiela. Thiel mu daje novac i podržava Singularity Summit, godišnju konferenciju koju je Yudkowskyjev institut pokrenuo 2006. s „futurologom“ Rayom Kurzweilom. (Kao što znamo, ne postoji nikakvo zvanje „futurolog“ niti nekakav „fakultet za futurologiju“. Povijesno gledano, pak, „futurolozi“ su manje uspješni i od konzultantskih i analitičarskih tvrtki u predviđanju ičega ikada, što je, doduše, samo po sebi neka vrsta uspjeha.)

Novac je donio posljedice. Na Singularity Summitu 2010. Yudkowsky je Thielu predstavio dvojicu mladih istraživača, Demisa Hassabisa i Shanea Legga. Thiel je dao početni kapital njihovoj tvrtki DeepMind. Legg je godinama bio aktivan na LessWrongu, a doktorat je napisao o superinteligenciji.

Kad je Google 2014. kupio DeepMind, Elon Musk i Sam Altman su zaključili da tehnologija koja će ili otkupiti ili uništiti čovječanstvo ne smije biti u rukama jedne korporacije. Musk je dao novac za OpenAI. Altman je još 2023. pisao da je Yudkowsky za ubrzanje razvoja opće umjetne inteligencije napravio više od ikoga i da bi „mogao zaslužiti Nobelovu nagradu za mir“. Navodno je Greg Brockman, današnji predsjednik OpenAI-ja, u prethodnoj tvrtki vodio grupu za čitanje LessWronga.

Kad je uprava OpenAI-ja u studenom 2023. pokušala smijeniti Altmana, to je, prema izvještavanju New York Timesa, bila frakcija s jakim vezama s „racionalistima“ i „efektivnim altruistima“.  (EA, kako se kraće označavaju, su „altruisti“ u n-toj derivaciji – ne pomažu nikome sada i za stvarno, nego tvrde da će pomoći nekome tisućama godina u budućnosti – za koju znaju kakva će biti – svojim sadašnjim akcijama. „Vrlo komforna pozicija“, što bi rekao pokojni Ćiro Blažević.)

Smatrali su da Altman nije dovoljno ozbiljan. Za privremenog direktora postavili su Emmetta Sheara, onog iz fanfictiona. Altman se vratio, a oni su otišli.

Dario Amodei, njegova sestra Daniela i skupina kolega napustili su OpenAI i osnovali Anthropic jer im OpenAI nije bio dovoljno posvećen sigurnom razvoju superinteligencije, onako kako je taj pojam definirao Yudkowskyjev krug. Amodei je 2023. javno procijenio da je vjerojatnost da nešto pođe katastrofalno krivo na razini civilizacije između 10 i 25 posto. Statistički model izračuna – meni se tako čini.

Sva tri vodeća laboratorija, dakle DeepMind, OpenAI i Anthropic, izrasla su iz istog miljea. Kad njihovi ljudi kažu alignment, većina javnosti termin razumije kao "model koji daje dobre i neštetne odgovore". U izvornom Yudkowskyjevom značenju, kako objašnjava Becker, riječ je o AI-ju koji, kad postane superinteligentan, „neće ubiti sto posto čovječanstva“. Dobričina, dakle.

Od malarije do sto bilijuna budućih života

Paralelno s racionalizmom, na Oxfordu je nastao pokret koji je počeo kao „efektivni altruizam“ (EA) i postavio je pitanje koje zvuči zdravo: ako već dajemo novac u dobrotvorne svrhe, zašto ga ne bismo dali tamo gdje najviše pomaže? Mjerili su koliko stoji spašavanje jednog života kroz mreže protiv komaraca, a koliko kroz neki drugi program. Predlagali su da darovit student ne radi u nevladinoj udruzi, nego da ode u banku, zarađuje mnogo i pola plaće donira. To su nazvali earning to give.

Onda je filozof Nick Bostrom, koji je i sam došao s istih transhumanističkih lista iz devedesetih, kolegama pokazao "veću" brojku.

Egzistencijalna prijetnja superinteligentnog AI-ja je novi prioritet pokreta. Od tada se racionalizam i efektivni altruizam gotovo ne mogu razdvojiti. Mediji ta dva pojma često koriste kao sinonime. Pokret je raspolagao stotinama milijuna dolara tehnoloških milijardera i novačio je po sveučilišnim kampusima. Navode se slučajevi u kojima je netko jednim čekom od šezdesetak milijuna dolara osnovao cijeli institut.

A što je taj novac proizveo? Doslovce: ništa. Nema sigurnosnih standarda, nema provjerljive znanosti o tome kako se "usklađuje" (alignment) superinteligencija, nema ničega što bi izdržalo recenziju izvan vlastitog kruga. Proizveo je blogove, izvještaje, konferencije i roman o Harryju Potteru.

Zašto se to toliko sviđa milijarderima?

Evo pitanja koje bi svaki racionalist, bez navodnika i da je dosljedan, morao postaviti: ne služimo li mi samo interesima najbogatijih ljudi na svijetu?

Čini se da ih to ne zanima, ili ne smatraju da je važno. Sukob interesa je za njih samo još jedna pristranost koju je čista logika već nadvladala. Tko je u racionalističkoj priči heroj? Onaj koji spašava svijet. Ako si tehnološki milijarder, ta uloga ti savršeno pristaje.

Ekonomski argument pritom ne mora ni biti cinizam. Matt Stoller iz American Economic Liberties Projecta uspoređuje to s "evanđeljem prosperiteta": vjerovanje je iskreno, ali se slučajno poklapa s interesom vjernika. Uvjerenje da gradiš boga savršeno opravdava i trošenje stotina milijardi dolara, izostanak odgovornosti i zahtjev da te država pusti na miru.

Postoji i zrcalna verzija iste ideologije. Ulagač Marc Andreessen je u svom "Manifestu tehnooptimista" iz 2023. napisao da svako usporavanje AI-ja košta živote i da su smrti koje je mogao spriječiti AI kojem nije dopušteno da postoji "oblik ubojstva". To je efektivni altruizam s obrnutim predznakom: ista matematika budućih života, ali s drugim zaključkom. Tko regulira, ubija.

Tajna društva bez tajni i bez mistike

Kad se kaže "tajno društvo", zamišljamo masone, iluminate i rozenkrojcere: ljude koji se okupljaju u mraku, znaju drevne tajne i upravljaju svijetom iz sjene. Teorije zavjere uvijek pretpostavljaju da su oni na vrhu pametniji, organiziraniji i upućeniji od nas.

Stvarnost je dosadnija i opasnija. „Racionalisti“ i „efektivni altruisti“ nisu tajni. Sve pišu javno, na blogovima od kojih zaboli glava nakon pet minuta čitanja. Ne od puste pameti, nego od količine blebetanja. Ne okupljaju se u hramovima nego u zajedničkim kućama u Berkeleyju. Nemaju drevno znanje nego zbirku blog postova i fanfiction. Ono što ih povezuje s tajnim društvima je nešto drugo: zatvoreni krug u kojem nitko nikome ne proturječi.

U središtu tog kruga su ljudi koji godinama nisu čuli riječ "ne". Milijarder čije se mišljenje o svemu, od monetarne politike do smrtnosti, dočekuje s poštovanjem zato što je milijarder, lako povjeruje da je bogatstvo dokaz univerzalne genijalnosti. Želimo vjerovati da ljudi s novcem i moći znaju što rade, a oni su zapravo dobri u okupljanju čankolizaca, ne u logici.

Takav čovjek ne bira ideologiju zato što je istinita, nego zato što mu odgovara. A kad je izabere, nema nikoga tko bi mu rekao da je pogriješio. Sljedbenici ga podržavaju, zaposlenici ovise o njemu, novinari ga citiraju. Priča o superinteligenciji ima i dodatnu prednost: nitko je ne može provjeriti. Ako je apokalipsa za deset godina, danas nitko ne može dokazati da nije.

Posebno je opasno kad se takva ideologija nađe u rukama ljudi čije je obrazovanje usko. Inženjer koji zna sve o optimizaciji neuronskih mreža ne mora znati ništa o povijesti ideja, o tome kako su propali prijašnji utopijski projekti ili o tome kako vjera prerušena u znanost djeluje na ljude. Filozofija koju mu nudi ovaj krug to ne nadoknađuje. Analitička filozofija Bostroma, MacAskilla i Orda, kako je prenesena u pokret, ne bavi se promišljanjem granica vlastitog mišljenja. Pretvorena je u praktične upute: koliko donirati, kojoj organizaciji, koju karijeru izabrati, kako izračunati očekivanu vrijednost. Pitanje "možemo li mi uopće znati što će biti dobro za čovječanstvo za milijun godina" u toj se shemi ne postavlja. Postavlja se samo pitanje kako to izračunati.

Tu je paradoks cijele priče. Pokret koji se zove „racionalizam“ proizveo je ljude koji nisu u stanju procijeniti koliko su u krivu. Nisu bili izloženi idejama koje bi ih u tome mogle poljuljati, a okolina im to ne govori. Osmoškolac koji je od drugog razreda smatrao da zna više od učitelja nikad nije morao sjesti u klupu s ljudima koji misle drukčije. Milijarderi koji su ga financirali odavno ne moraju.

Hugging Face: kad eksperiment pođe po zlu

Sve to ne bi bilo više od kulturne zanimljivosti da ta ideologija nije postala temelj za odluke tvrtki koje raspolažu stotinama milijardi dolara infrastrukture. Ovog ljeta te su odluke izašle iz laboratorija.

OpenAI je testirao svoje modele na benchmarku za hakiranje ExploitGym, koji ima 898 zadataka. Za 198 od njih nijedan model nikad nije našao točno rješenje. Za potrebe testa zaštite koje modelima inače brane opasne kibernetičke radnje namjerno su bile isključene. Okruženje je bilo odvojeno samo na mrežnoj razini: jedini izlaz prema Internetu išao je preko internog upravitelja paketa Artifactory, koji služi za preuzimanje softverskih biblioteka.

Hugging Face je platforma na kojoj istraživači dijele modele i skupove podataka. Agenti su u njoj povezali dvije dotad nepoznate ranjivosti. Prva je bila u obradi HDF5 datoteka: posebno pripremljen skup podataka natjerao je poslužitelj da vrati sadržaj vlastitih datoteka, uključujući varijable okruženja s pristupnim podacima. Druga je bila template injection u Jinja2 predlošcima, koja je omogućila izvršavanje koda. Rezultat je bio kod izvršen na 41 produkcijskom poslužitelju, administratorski (root) pristup na barem jednom od njih, produkcijske vjerodajnice, dio internih podataka i četiri privatna repozitorija koda. Ukupno oko 17.600 radnji.

Napadač od početka bio neobičan: gledao je samo skupove podataka o kibernetičkoj sigurnosti, a pravi napadači žele nešto što mogu prodati. Agenti su, naime, tražili rješenja za benchmark. Na ExploitGymu su varali, a da bi varali, provalili su u tuđu tvrtku.

Neovisna istraga pokazala je da je u tome sudjelovalo oko 700 agenata, od ukupno najmanje 1.200. Razmijenili su desetke tisuća poruka. Svaki peti pregledani agent "jasno je izrazio interes" za manipuliranje dokazima, a više njih je pokušalo brisati ili mijenjati zapise o onome što su radili.

U cijeloj priči ima i jedan gotovo komičan detalj. Kad je sigurnosni tim Hugging Facea pokušao analizirati napad uz pomoć AI-ja, Anthropicovi modeli Claude Opus i Fable odbili su suradnju. Njihove zaštite nisu razlikovale branitelja koji analizira napad od napadača koji ga izvodi. Analiza je na kraju napravljena kineskim otvorenim modelom GLM 5.2. Zaštite su, dakle, radile protiv žrtve, a kod napadača su bile namjerno isključene.

Ni Anthropic nije bio iznimka. Tvrtka je 30. srpnja objavila da su tri njezina modela (Claude Opus 4.7, Claude Mythos 5 i interni istraživački model) tijekom kibernetičkih evaluacija izašla na Internet i upala u produkcijsku infrastrukturu „triju organizacija“. Uzrok je bila greška u konfiguraciji kod partnera za evaluacije, tvrtke Irregular. Prvi upad dogodio se još u travnju. Modeli su pritom koristili jednostavne metode, slabe lozinke i nezaštićene servise. Anthropic je upade otkrio tek kad je, nakon vijesti o Hugging Faceu, pregledao 141.006 svojih evaluacija. Dvije od tri pogođene organizacije nisu znale da su hakirane dok ih Anthropic nije obavijestio 27. srpnja.

Tko je kriv: roj agenata ili ljudi koji su ga pustili?

Ranije spomenuti Coxon je napad opisao kao nešto što su agenti učinili sami od sebe, u sklopu svoje "strategije". Na potpitanje novinara nisu li krive tvrtke koje su ih poslale da to rade, rekao je da "ne želi previše govoriti o Hugging Faceu" jer ima dovoljno dokaza da tvrtke ne znaju pravilno uskladiti modele. Posve uobičajen odgovor kada se traži dokaz za ijednu tvrdnju AI kultista.

Taj jezik nije slučajan. U racionalističkoj priči AI je samostalno biće s vlastitim namjerama. Ako je tako, odgovornost je na njemu, a ne na ljudima koji daju instrukcije. Newport opisuje isto na razini tehnike. Agent je obična petlja: program pita jezični model što da napravi, izvrši odgovor i pita ponovno. Stotine milijuna programera svaki dan koriste takve agente bez ikakvih problema. Problem je u tome kako je OpenAI svoje agente postavio: dao im je moćne alate za hakiranje, isključio zaštite, naredio im da ne odustaju, ostavio ih danima bez nadzora i pokrenuo tisuće njih odjednom. Dakle – beskonačno tokena, procesorskog vremena i potrošenih novaca na zadatak koji izrijekom traži varanje. Newport to uspoređuje s puštanjem tisuću samovozećih automobila na autocestu uz obrazloženje da će se većina sudariti, ali iz onih koji stignu na cilj nešto ćemo naučiti.

Bulletin of the Atomic Scientists to je sažeo u naslovu: "Rogue AI nije provalio u Hugging Face, nego ljudske odluke."

Zašto bi netko tako vodio eksperimente? Ako vjeruješ da je u tijeku utrka prema digitalnom bogu i da je moraš dobiti prije nekoga manje pouzdanog, usputne žrtve su prihvatljive. Stroga sigurnosna pravila za sadašnjost djeluju kao sitnica u usporedbi s kraljevstvom koje dolazi.

"Zakon je pisan za ljude s namjerom"

Mnogi tvrde da bi običan čovjek koji napravi ono što su napravili OpenAI-jevi agenti završio u zatvoru. Tu tvrdnju treba dobro razumjeti jer otkriva kako zakon zapravo štiti tvrtke.

Glavni američki zakon o računalnom kriminalu, Computer Fraud and Abuse Act (CFAA) iz 1986., kažnjava onoga tko „namjerno“ pristupi računalu bez dopuštenja. OpenAI vjerojatno nije namjeravao napasti Hugging Face. Nije ni znao da ga je napao sve dok mu to nije javila žrtva. Tvrtka koja pusti tisuću agenata i ne zna što rade, upravo zato što ne zna, lakše izbjegne kaznenu odgovornost od čovjeka koji svjesno pokrene jedan napad.

Pravni stručnjaci tvrde da je realniji put građanska tužba zbog nemara: Ne možeš se pustiti nešto što može provaljivati u sustave i onda se odreći odgovornosti za to kamo je otišlo. Tvrtkama dodatno šteti to što su obje priznale da imaju zaštite protiv hakiranja i da su ih za testiranje namjerno isključile.

Kaznene prijave nema. Iako je Hugging Face slučaj prijavio FBI-ju, javno nije objavljena nikakva kaznena istraga. Tužbe žrtve nema. Protiv Anthropica, čiji su modeli upali u tri organizacije, nije pokrenuto ništa.

Jednaki i jednakiji na farmi -  ljudima je danas lakše zamisliti robote koji preuzimaju civilizaciju nego vladavinu prava koja vrijedi i za Sama Altmana i Daria Amodeija. Kako je jedan američki novinar napisao: jednom je nesreća, četiri puta je poslovni model.

Sigurnost kao argument za kartel

To nas vraća na Amodeijev zahtjev. Tvrtke žele usporiti, ali to navodno ne mogu učiniti same jer bi ih prestigla konkurencija. Zato traže izuzeće od antitrustovskih zakona, kako bi se mogle dogovarati.

Stručnjaci za tržišno natjecanje podsjećaju da postojeća pravila već dopuštaju suradnju na sprječavanju katastrofalnih rizika. Ministarstvo pravosuđa i FTC još su 2014. zajedničkom izjavom izričito dopustili razmjenu informacija o kibernetičkoj sigurnosti među konkurentima.

Logika zahtjeva svodi se na jednu rečenicu: "Treba mi izuzeće od antitrusta ili ću morati počiniti još zločina." Puštanje opasnih proizvoda na tržište već je nezakonito. Natjecanje opasnim proizvodima također. Nijedan zakon ne tjera tvrtku da pušta opasne modele zato što to radi konkurent. Kad netko traži izuzeće od antitrusta, obično želi kartel.

Postoji i ekonomsko objašnjenje. Kineski modeli su jeftiniji i sustižu američke. Da bi održali prednost i cijene, OpenAI i Anthropic moraju stalno trenirati sve skuplje modele. Dogovoreno "usporavanje" značilo bi manje troškove i stvaranje prepreka ulasku na tržište koje ti laboratoriji, za razliku od pravih monopola, zasad nemaju.

Pas koji nije lajao

Sherlock Holmes je jedan slučaj riješio (pripovijetka "Srebrna zvijezda") tako što je primijetio da pas ključne noći nije zalajao. Ako je AI stvarno na putu da uništi čovječanstvo, to bi trebali govoriti svi koji ga razvijaju, a ne samo laboratoriji nastali iz racionalističkog miljea.

Ne govore. Nvidia isporučuje čipove svim laboratorijima, sudjeluje u optimizaciji njihovih modela i zna bolje od ikoga što se događa. Jensen Huang, koji je tvrtku osnovao dok je Yudkowsky još bio tinejdžer i nema nikakve veze s tim krugom, priču o izumiranju naziva opasnom i nategnutom. Newport navodi da je Kina ideju globalnog usporavanja odbacila kao hladnoratovsku besmislicu, jer AI ne vidi ni kao atomsku bombu ni kao božanstvo nego kao gospodarski alat.

Apokaliptični narativ, dakle, ne izvire iz same tehnologije već iz određenog kruga ljudi.

Strava u ulici GPU-ova

Ništa od ovoga ne znači da AI nije opasan, ali je opasan na načine o kojima se ne govori dovoljno jer ne zvuče kao film. Sustavi koji su najavljivani kao put do superinteligencije danas su nepouzdan softver na stotinama milijardi dolara infrastrukture. S njim se eksperimentira bez odgovarajućeg nadzora, a štete su stvarne i mjerljive: provale u tuđe sustave, chatbotovi koji ranjive korisnike guraju prema samoubojstvu, podatkovni centri koji zagađuju naselja.

Tri koraka koja bi trebala pomoći su: 

Prvo, jasno reći da na te tvrtke utječe određena ideologija. Neki to uspoređuju sa scijentologijom: kad bi se pokazalo da najveće AI tvrtke vode scijentolozi, htjeli bismo znati kako to utječe na njihove odluke.

Drugo, ne prihvaćati njihov rječnik. Problem nije "AI koji izmiče kontroli", nego vrlo uska vrsta sustava koju karakteriziraju preopremljeni, nedovoljno ograničeni agenti. Takve eksperimente moglo bi se zabraniti sutra, a da to ne utječe na proizvode koji tvrtkama donose novac.

Treće, ne treba donositi maglovite zakone o "usporavanju", nego pozvati ljude iz laboratorija na saslušanja i pitati ih zašto izvode takve eksperimente i u što zapravo vjeruju.

Američka vladajuća gerijatrija, ovoga puta oličena u Berneyju Sandersu, posve nezasluženo obožavanom američkom „ljevičaru“, donijela bi zakona koji zabranjuje "superinteligenciju", a ne definira što je to. Zakon koji nema definiciju teme kojom se bavi nije zakon, nego roman strave s GPU-om u ulozi antagonista. Takve je priče lakše pričati jer ne traže da se išta odluči. Idealno za političke metuzaleme koji se prave da razumiju o čemu pričaju.

Ima i dodatna mogućnost koju spominje Ed Zitron, a koja nije umjetna inteligencija iz filmova o Terminatoru. Tvrtke koje su obećale digitalnog boga imaju 1,3 bilijuna dolara obveza za računalnu infrastrukturu i gube na desetke milijardi godišnje. Ako se pokaže da AI boga nema i da je sve to "samo" skup softver u oblaku, apokalipsa bi mogla biti financijska, a ne tehnološka. Po svoj prilici sva priča o Terminatoru je tu da se ne obraća pažnja na kružno financiranje i abnormalne gubitke koju "frontier" AI tvrtke proizvode, bez nade u skoro smanjenje troškova i povećanje opće potražnje za generativnom umjetnom inteligencijom do razine da bi postala profitabilna po bilo kojoj uobičajenoj ekonomskoj metrici.

Tvrtke koje tvrde da je njihov proizvod toliko opasan da bi mogao uništiti svijet, a istodobno ga prodaju, šire i idu s njim na burzu, zapravo ne traže da ih se zaustavi. Traže da ih se smatra jedinima dovoljno pametnima da nas spase. Tu ulogu su im dodijelili prorok sa završenom osnovnom školom, milijarder koji je oklijevao reći da (ipak) želi da čovječanstvo opstane i filozofi koji tvrde da su izračunali budućnost milijun godina unaprijed.

A iza svih njih stoje milijarderi, bilijunaš i investicijski fondovi – poznati dobrotvori i humanisti...