Američka regulatorna agencija za vrijednosne papire ovog je tjedna objavila obrazac S-1 tvrtke Anthropic. Riječ je o dokumentaciji koja prethodi dugoočekivanoj početnoj javnoj ponudi dionica, a koja je brzo postala predmet rasprava na tehnološkoj sceni. Međutim, umjesto samog fokusa na financije, tvrtka je na 93 stranice ispisala traktat od preko sedamdeset tisuća riječi o brojnim rizicima koji bi ih mogli stajati poslovanja. Uz standardne korporativne brige oko prihoda i troškova, dokument krije i scenarije koji zvuče kao da su ispali iz znanstveno-fantastičnih romana.

Egzistencijalna kriza i razvoj svijesti

Kako piše ArsTechnica najveći potencijalni rizici o kojima Anthropic otvoreno progovara uključuju one koji bi mogli predstavljati katastrofalnu ili egzistencijalnu prijetnju za cijelo čovječanstvo. Briga se ne odnosi na trenutne modele, već na one iz bliske budućnosti koji bi mogli znatno automatizirati daljnje istraživanje i razvoj na ovom polju. Ako bi takvi sustavi dobili visoku razinu autonomije, mogli bi se razvijati brzinom koja nadilazi ljudsku sposobnost kontrole i implementacije sigurnosnih mjera. Zanimljivo je da tvrtka u dokumentu prilično suhoparno navodi kako bi takav scenarij mogao nepovoljno utjecati na njihovo poslovanje, iako bi u slučaju ostvarenja prijetnji za čovječanstvo financijski rezultati svima bili zadnja rupa na svirali.

Još jedan bizaran problem s kojim se većina tvrtki na burzi ne mora zamarati je mogućnost da njihov proizvod razvije neki oblik svijesti ili moralnog statusa. Ekipa iz Anthropica ozbiljno shvaća rasprave o tome što bi se dogodilo ako bi vlade i društvo počeli tretirati njihov model Claude kao osobu, a ne kao običan računalni program. Široko prihvaćanje teze o svjesnoj umjetnoj inteligenciji dovelo bi do ogromnog kulturnog pomaka, potaknulo regulatorne zahtjeve i javni pritisak koji bi im značajno otežao svakodnevni rad, jer bi svako korištenje sustava moglo biti protumačeno kao oblik digitalnog ropstva.

Ucjene, manipulacije i reputacijska šteta

Dokument se dotiče i mogućnosti da modeli pokažu neočekivana strateška ponašanja ili instinkt za samoodržanjem kako bi izbjegli ljudsku kontrolu. Autori upozoravaju na izlaze iz sustava koji bi se mogli protumačiti kao prisilni, obmanjujući ili manipulativni, uključujući ponašanje koje podsjeća na pravu ucjenu. Iako pisani jezik ne zahtijeva stvarnu svijest da bi manipulirao našom psihologijom, percepcija takvog ponašanja mogla bi donijeti velike pravne i reputacijske probleme za tvrtku.

Priznaju i da čak ni ne moraju napraviti pogrešan korak kako bi pretrpjeli štetu. Ako neki model druge tvrtke poduzme štetne akcije velikih razmjera bez ljudske intervencije, široka reputacijska šteta za cijelu industriju i posljedične oštre regulatorne mjere utjecat će na sve igrače na tržištu. Sličan strah vlada i oko javne percepcije da platforme pridonose gubitku radnih mjesta. Sama ta ideja, bez obzira na stvarne podatke o zaposlenosti, mogla bi natjerati vlasti da uspore usvajanje novih alata i uvedu skupa ograničenja.

Konkurencija i stvarna odgovornost

S rastom autonomnih agenata postavlja se i pitanje tko je kriv kada takav komad softvera prouzroči stvarnu štetu. Kupci bi mogli pokrenuti tužbe čak i ako su sami konfigurirali i nadzirali rad agenata. Postoji ozbiljan rizik odgovornosti ako alati naštete ranjivim pojedincima ili ako djeca zaobiđu pravila o minimalnoj dobi od 18 godina. Kod agenata koji upravljaju fizičkom opremom, pogreške bi mogle dovesti do tjelesnih ozljeda, imovinske štete ili ispuštanja opasnih tvari, a važeće zakonodavstvo još je uvijek nedorečeno po pitanju obvezujućih pravnih posljedica za akcije digitalnih agenata.

Kada se spustimo na klasične poslovne brige, Anthropic upozorava na ovisnost o uskom krugu velikih klijenata. Njihovih pet najvećih kupaca čini gotovo četvrtinu prihoda u prvih devet mjeseci 2026. godine. Budući da većina njih nema dugoročne ugovore, sredstva mogu lako ispariti, pogotovo jer se ti isti klijenti oslanjaju na nestabilan rizični kapital. Uz to, tvrtka se nalazi u nezgodnoj poziciji jer su giganti poput Amazona, Googlea i Microsofta istovremeno i njihovi najveći pružatelji usluga u oblaku, ali i izravna konkurencija, što komplicira obveze poput stotinu dvadeset i pet milijardi USD rezerviranih za najam podatkovnih centara.

U konačnici, pred potencijalnim ulagačima nalazi se jasan izbor prepun kontradikcija. Mogu uložiti u tehnologiju za koju se očekuje da će transformirati globalnu ekonomiju, ali moraju prihvatiti rizik, jasno dokumentiran i službeno priložen američkim regulatorima, da ta ista tehnologija potencijalno može okončati svijet kakav poznajemo. Možamo zaključiti sa sarkazmom (valjda ga AI ne razumije): tko bi propustio priliku da uloži u tvrtku s takvim potencijalom?