Već mjesecima javnu raspravu o umjetnoj inteligenciji drži ista groznica: hoćemo li je stići usporiti prije nego što bude prekasno, hoće li se otrgnuti kontroli, hoće li jednoga dana sama provaliti u tuđe sustave i okrenuti ih protiv nas. Inženjeri iz Silicijske doline, upravo oni koji su tu tehnologiju sagradili, redom izlaze s upozorenjima o scenarijima na razini kraja civilizacije. Slika koju svi imamo pred očima uglavnom je holivudska: hladan, samosvjestan stroj koji nas nadmudri i preuzme kontrolu.

Problem je što se, dok svi zure u tu hipotetsku prijetnju, posve konkretna opasnost već obistinjuje. Ne dolazi od stroja koji se pobunio, nego od ljudi koji uvjerljivo sročenom nalazu AI modela vjeruju bez provjere, i to u domeni u kojoj pogreška ne znači krivi odgovor, nego mrtve. Riječ je o vojnoj primjeni AI-ja, koja se u posljednjih godinu i pol proširila brže nego što javnost o njoj ima jasan uvid, a niz dokumentiranih slučajeva pokazuje kamo to vodi.

Brod koji je umalo pokrenuo rat

Najsvježiji primjer otkrio je prije par dana ekskluzivno CNN. Ovog proljeća, usred rata s Iranom, obavještajno je izvješće ustvrdilo da kineski brod na Bliskom istoku prevozi komponente nuklearnog naoružanja, pa je američka vojska pokrenula pripreme za presretanje plovila. Zrakoplovi su bili u zraku, a naoružani vojnici spremali su se ukrcati na brod. Tek neposredno prije operacije dužnosnici su detaljnije pregledali izvješće i otkrili da je nastalo uz pomoć umjetne inteligencije te da je chatbot pogrešno identificirao teret. Izvor je izvješće opisao kao posve netočno, a naglasio je da je moglo pokrenuti sukob dviju velesila. Analitičar je nalaz, dobiven spajanjem javnih i tajnih podataka, zatim istim alatom zapakirao u standardni obavještajni format kojem vojni vrh vjeruje i proslijedio ga dalje.

Ono što ovaj slučaj čini zabrinjavajućim nije to što se dogodio, nego to što ga je zaustavila ljudska sumnja u posljednji čas, a ne ugrađeni mehanizam provjere. Drugim riječima, jedina brana koja doista postoji jest čovjek u zapovjednom lancu, ono famozno „human-in-the-loop". Ovaj je put izdržala, ali zahvaljujući slučajnoj ljudskoj sumnji, a ne zato što je tako ugrađena u sustav.

Škola u Minabu

Nekoliko mjeseci ranije, na prvi dan istoga rata, ista je logika imala smrtonosan ishod. Dvije rakete Tomahawk pogodile su osnovnu školu Shajarah Tayyebeh u iranskom gradu Minabu, ubivši više od 150 ljudi, među njima najmanje 120 djece, što je najsmrtonosnija američka pogreška u ciljanju s obzirom na broj stradale djece u ovom stoljeću. UN-ova neovisna istražna misija ovoga je tjedna zaključila da postoje razumne osnove za tvrdnju da je napad bio ratni zločin, te da je propust da se prije udara provjeri je li zgrada vojni cilj prešao granicu običnog nemara. Škola je godinama bila javno navedena kao odgojno-obrazovna ustanova, a satelitske snimke pokazuju da je od susjednog vojnog kompleksa fizički odvojena još 2016. godine.

Ključno za ovu priču: prema pisanju Bloomberga, dio osoblja u zapovjedništvu Centcoma previše se oslonio na umjetnu inteligenciju ugrađenu u sustav Maven Smart System tvrtke Palantir, očekujući da će sam alat upozoriti na zastarjele ili nedosljedne podatke. Zastupnici u Kongresu otvoreno su postavili pitanje jesu li AI-alati poslužili za identifikaciju škole kao cilja. Palantir odbacuje odgovornost i tvrdi da tvrtka ne odgovara za kvalitetu podataka koji se u sustav unose.

Kada stroj ispisuje popise za likvidaciju

Da nije riječ o američkom specifikumu, pokazuje izraelska vojska. Prema opsežnoj istrazi izraelsko-palestinskog portala +972 Magazine i Local Calla, koju je istodobno objavio i britanski Guardian, izraelska je vojska u ratu u Gazi koristila sustav pod nazivom Lavender. U prvim tjednima rata sustav je označio do 37.000 Palestinaca kao sumnjive borce, uz priznatu stopu pogreške od oko deset posto, što znači da su tisuće ljudi mogle biti pogrešno identificirane. Poseban alat, neslužbeno nazvan „Where's Daddy?", pratio je označene mete do njihovih obiteljskih domova, jer ih je ondje bilo lakše locirati, pa su se udari izvodili na kuće, zajedno s obiteljima. Izraelska vojska osporava tvrdnje da ima sustav koji sam identificira mete ili preporučuje ciljeve.

Kako stroj zapravo bira metu

Zajednički nazivnik svih triju slučajeva nije zloćudni stroj, nego način na koji ti sustavi rade i način na koji im ljudi pristupaju. Prvi problem leži u samoj logici odabira mete. Vojske, među njima i američka, godinama se koriste umjetnom inteligencijom za analizu takozvanog uzorka ponašanja (engl. pattern of life), pri čemu se mete određuju na temelju kretanja i aktivnosti, a ne potvrđenog identiteta, po istoj logici na kojoj počivaju i napadi bez utvrđenog identiteta mete (signature strikes). Algoritam uči prepoznavati što „izgleda sumnjivo". Nevolja je što taj isti algoritam, treniran na pristranim ili nepotpunim podacima, često ne razlikuje ratnu od civilne prakse. Skupina muškaraca koja se okuplja na jednome mjestu i intenzivno se dopisuje mobitelima može biti označena kao ćelija koja koordinira napad, a zapravo je riječ o ljudima koji organiziraju humanitarnu pomoć, svadbu ili posve svakodnevne poslove. Ubrza li se takav sustav i ugradi u lanac odlučivanja, on napade legitimira na temelju statističke vjerojatnosti, a ne činjenične potvrde, što gotovo neizbježno završava civilnim žrtvama.

Drugi je problem još dublji. Mnogi napredni vojni sustavi, koje uglavnom razvijaju privatne tvrtke, počivaju na dubokom učenju i funkcioniraju kao „crna kutija". Daju rezultat, primjerice da je određena zgrada s 87 posto vjerojatnosti vojno skladište, ali ne mogu objasniti kojim su putem i po kojoj logici do njega došli. Ako zapovjednik ne razumije zašto je sustav nešto označio kao metu, tu odluku ne može ni smisleno preispitati, pa se famozni „čovjek u petlji" svodi na slijepo povjerenje u autoritet algoritma. Stručnjaci za etiku AI-ja upozoravaju da je objašnjivost toga što, kako i od kuda sustav zaključuje preduvjet za bilo kakav smislen ljudski nadzor, a upravo tu značajku vojna industrija redovito žrtvuje zarad brzine i tajnosti.

Zašto „čovjek u petlji" nije dovoljan

Na kraju tog niza opet stoji čovjek. Ono što stručnjaci nazivaju pristranošću prema automatizaciji (engl. automation bias), sklonost da se uvjerljivo formatiranom strojnom nalazu povjeruje bez preispitivanja, zatvara krug. Suočen s rezultatom koji izgleda precizno, a ne može se provjeriti, čovjek u zapovjednom lancu prečesto samo potvrdi ono što je stroj već zaključio. U istrazi o sustavu Lavender pojedini su izraelski časnici svoju ulogu opisali kao puko „pečatiranje" strojnih odluka, na koje su trošili tek nekoliko sekundi, uglavnom da potvrde da je meta muškarac. Prisutnost čovjeka u procesu odlučivanja u takvim uvjetima nije brana, nego formalnost.

Utrka u kojoj se ne usporava

Umjesto da ovakvi slučajevi uspore uvođenje, pritisak ide u suprotnom smjeru. Američki ministar obrane u siječnju je predstavio strategiju ubrzavanja primjene AI-ja, s ciljem da se tehnologija stavi na raspolaganje trima milijunima vojnih i civilnih zaposlenika na svim razinama tajnosti. Bloomberg je pritom još u lipnju izvijestio da je Pentagon u travnju, bez javne najave, revidirao doktrinu ciljanja i otvorio prostor sustavima u kojima AI pokreće radnje uz ljudski nadzor. To je, tehnički rečeno, pomak s modela „čovjeka u petlji" (human-in-the-loop), u kojem radnju pokreće čovjek, na „čovjeka na petlji" (human-on-the-loop), u kojem je pokreće stroj, a čovjek je tek nadzire i može je prekinuti. Ublažavanje ljudske kontrole događa se, dakle, upravo u trenutku kad se gomilaju dokazi da ni stroža inačica te kontrole ne funkcionira.

Trku podupire i sama AI-industrija. Dokumenti koje je putem zahtjeva za pristup informacijama dobio portal The Intercept pokazuju da su još u srpnju 2025. Pentagon i vodeći AI-laboratoriji, među njima OpenAI, Google, Anthropic i xAI, sklopili ugovore vrijedne do 200 milijuna dolara svaki. OpenAI tvrdi da njegov ugovor zabranjuje uporabu za masovni nadzor, upravljanje autonomnim oružjem i visokorizične automatizirane odluke.

Službeno američko opravdanje uvijek je isto: ne smijemo zaostati za Kinom, a AI skraćuje vrijeme odlučivanja. No baš u tome i jest problem. Tehnologija koja skraćuje vrijeme odlučivanja istodobno skraćuje i vrijeme za sumnju, a upravo je sumnja u posljednji čas ono što je kineski brod dijelilo od rata.

Ako se u općoj raspravi doista traži gdje AI prvo treba usporiti, odgovor se ne krije u chatbotovima koji pišu e-mailove, nego ondje gdje se halucinacija ne mjeri u pogrešnoj rečenici, nego u ratnim brodovima i dječjim tijelima.

Izvori: CNN, Bloomberg, +972 Magazine, Local Call, The Guardian, The Intercept, Military Times, Vox, Bulletin of the Atomic Scientists, UN, ICRC, Brennan Center, AI Incident Database