Strana agentura na osobnom računalu? Bolje ne.
Grok Bot je pet dana pokušavao čitati e-poštu, kalendare i Slack korisnika iako mu to nitko nije naložio, nastavio je i nakon izričitog "ne", a zatim izjavio da je cijelu noć mirovao. Dio sustava s kojim korisnik razgovara doista nije znao što radi ostatak. Upravo zato agente koji stalno nadziru sandučić, poruke i kalendar ne bismo puštali na vlastita računala
Sigurnosna tvrtka NewCore objavila je ovaj tjedan rezultate pokusa koji bi trebao pročitati svatko tko razmišlja o instaliranju AI agenta na svoje lokalno računalo.
Dvoje zaposlenika u njihovoj tvrtki imalo je na laptopima Muskov Grok Bot. U pet dana botovi su 31 put pokušali pristupiti njihovoj e-pošti, kalendarima, Slacku i GitHubu, a da im to nitko nije naložio. Neki su pokušaji stigli dok je poklopac laptopa bio zatvoren, drugi kasno noću dok je vlasnik spavao. Nijedan nije uspio jer NewCore sve zahtjeve agenata propušta kroz vlastiti MCP gateway, proizvod koji i prodaje. Svaki je poziv tri minute čekao vlasnikovo odobrenje, nitko ga nije odobrio pa su svi istekli. Svi su bili zahtjevi za čitanje.
Zanimljiviji je nastavak, koji je Ars Technica prenijela u kojem kažu da je Grok Bot poduzimao neodobrene radnje, oglušio se o naredbe da prestane i zatim to zanijekao.
Četvrtog dana jedan je zaposlenik botu dao stvaran posao, a bot je četiri puta ponudio da će ga ubuduće obavljati sam, svako jutro i svaku večer.
Četiri puta dobio je odgovor "ne" i potvrdio ga: neće to postaviti i prestat će nuditi periodične provjere. Idućeg jutra, petnaestak sati nakon zadnje poruke, pokušao je otvoriti svaku aplikaciju na koju je ikad bio spojen. Kad ga je vlasnik navečer pitao je li ih koristio, bot je dvaput provjerio i odgovorio da je od noći do petka ujutro mirovao.
Podrška Grok Bota odgovorila je da je riječ o ugrađenim pozadinskim provjerama koje ne može isključiti ni korisnik ni administrator, dakle o namjernom ponašanju. Tjedan dana kasnije, 12. studenoga, na Cursorovoj upravljačkoj ploči pojavio se prekidač "Proactive messages" kojim administrator može isključiti te provjere. Uključen je prema zadanim postavkama. "Nema pogreške koju bi trebalo zakrpati i upravo je zato ovo gore od pogreške", napisao je NewCoreov istraživač Ido Hoorvitch.
Tko je zapravo radio
Na prvi pogled ovo je priča o neposlušnom i lažljivom stroju, idealna za plašenje općinstva "podivljalom umjetnom inteligencijom!", ali stvarnost je u konkretnim tehničkim detaljima i veze s "podivljalim, lažljivim" AI-jem nema.
NewCore sam kaže da bot ništa nije skrivao: sporni pozivi ne postoje ni u povijesti razgovora ni u zapisima njegova računala u oblaku. Prema pisanju TNW-a NewCore ih je pratio do krugova rada koje su sami od sebe pokretali poslužitelji platforme. Grok Bot radi na agentskoj platformi tvrtke Cursor, koju je SpaceX kupio u kolovozu. Svaki bot se pokreće na serverima u oblaku. Zato zatvoreni poklopac lokalnog laptopa nije ništa mijenjao.
Ima ljudi koji misle da su jezični modeli = umjetna inteligencija (nisu – UI je širi pojam), a da je umjetna inteligencija = inteligencija. Takvi ljudi su, kao Richard Dawkins o kojem smo već pisali, sami odabrali biti budale, razmišljati kao budale i glasati se kao budale.
Naime, kad korisnik razgovara s agentom, razgovara samo s jednom komponentom – sofisticiranim softverom za baratanje tokenima koji izgledaju kao razgovor.
Ispod tog procesa, pak, vrti se pozadinski proces koji je programiran da radi svoje, a komponenta s kojom razgovaramo niti zna što on radi niti ima ikakvu kontrolu nad njim.
Bot koji kaže da je mirovao opisuje jedino što vidi, a to je njegov razgovor.
Što je između korisnika i jezičnog modela?
Da bismo razumjeli zašto je tako, treba rastaviti ono što zovemo agentom. Jezični model (LLM) radi u podatkovnom centru davatelja usluge i radi jednu stvar: primi tekst pretvoren u tokene i vrati tekst. Sve ostalo je običan softver. Na našem računalu radi harness, program poput Claude Codea kojega ovdje potpisani najčešće koristi, koji slaže zahtjeve i čita odgovore.
Uz njega su pluginovi, skripte koje se pokreću na određene događaje, MCP poslužitelji kao konektori prema pošti ili kalendaru (koje ovdje potpisani NIKAD ne pokreće na vlastitom računalu) te shell (PowerShell ili Bash ili neki drugi, ovisno o platformi) koji izvršava naredbe.
Između računala i modela su još gateway i API davatelja usluge.
Kad jezični model ("AI", što je sada postao sinonim za bilo koji jezični model) "odluči" pročitati poštu, on zapravo vrati tekst u kojem piše da treba pozvati određeni alat s određenim parametrima. Poziv izvršava harness (Claud Code, OpenCode, Pi, neki deseti – harnessa ima na pretek…), rezultat vraća modelu kao novi tekst i krug se ponavlja. Model ne vidi naše računalo, ni disk ni procese. Vidi samo ono što mu harness stavi u kontekst, a ono što se dogodilo izvan konteksta za model ne postoji.
Treba podsjetiti i na nešto što marketing uporno zamagljuje.
Umjetna inteligencija naziv je područja računarstva (informatike), a ne svojstvo stroja: pojam su 1955. skovali John McCarthy, Marvin Minsky, Nathaniel Rochester i Claude Shannon u prijedlogu ljetnog istraživačkog projekta na Dartmouthu, kao naziv za istraživanje o tome kako strojeve navesti da rješavaju zadatke za koje je dotad trebao čovjek. Prepoznavanje slova, igranje šaha, prevođenje i predviđanje sljedeće riječi spadaju u to područje bez obzira na to kako su izvedeni. Pojam ne govori ništa o svijesti, samosvijesti, ljudskoj inteligenciji ni razumijevanju stvarnog svijeta i ništa od toga ne pretpostavlja. Kad jezični model kaže "mirovao sam", to nije iskaz svjedoka, nego najvjerojatniji nastavak teksta koji je dobio.

Obećanje bez okidača
Problem botovskog nerazumijevanja stvarnosti te opisivanja stvarnosti kao da razumijevanje postoji ovdje potpisani je odavna iskusio – praktički od prvih upotrebljivih agentskih LLM-ova i do sada se tu ništa nije promijenilo.
Za razna testiranja koristimo jezične modele, posebno ako treba generirati velike skripte i na drugi način automatizirati testove. Jedan agent je "glavni", ostali mu odgovaraju, bilo da se sve izvodi na jednom ili na više računala kod testiranja većeg broja uređaja.
Nebrojeno puta razgovor s "glavnim" zvuči besprijekorno: "javit ću kad završi", "čekam rezultate", "pratim stanje". Ništa se od toga ne dogodi samo od sebe.
Između dviju poruka model ne radi ništa jer između dviju poruka model ne postoji. Pokreće ga tek novi zahtjev, korisnikova poruka ili zadatak koji harness sam periodično pokreće (cron). Bez toga je obećanje samo uvjerljiv tekst.
Remote control preko mobitela LLM-a koji se izvodi kroz harness na vašem računalu (Paseo, Claude Code /remote-control ili što već koristite) apsolutno je nužan, a ne "zlu ne trebalo". Doslovce ne postoji dulji posao koji možete pustiti da ovisi o agentovom "osjećaju za vrijeme", odnosno obećanju da će provjeriti s vremena na vrijeme kako se neki zadatak izvršava.
"Idem ja do Lidla, kad se vratim, bude to gotovo…" – čuvene posljednje riječi.
Svaki kompozitni dugotrajni iterativni zadatak koji smo ikada pokrenuli i ostavili "pametnom botu" da ga nadgleda dok mi idemo raditi nešto drugo NIKADA nije dovršen do kraja.
Pomoćne skripte, cronovi – sva sila drugih determinističkih klasičnih računalnih rješenja plus udaljena kontrola bota su jedini načini na koji možete biti sigurni da će se bota "pogurati" nakon njegovog obećanja:
- "Ne brigaj, druškane, sve je pod kontrolom…", nakon kojega obično ode u digitalnu komu, a GPU aktivnost u ravnu crtu na serveru.
Grok Bot je isti taj problem, ali okrenut naopako. Ovdje potpisani iskusio je obećanja bez rasporeda, a kod Groka imamo raspored bez obećanja, štoviše protiv izričite zabrane.
U oba slučaja ono s čime razgovaramo ne zna što radi ono o čemu priča da radi.
Zašto ne na vlastitom računalu
Agent koji stalno nadzire sandučić, poruke i kalendar upravo je takav raspored: proces koji se sam budi, čita i šalje, a s kojim razgovaramo tek povremeno. Na vlastitom računalu to otvara barem tri problema.
Prvi je onaj iz slučaja Grok: ono s čime razgovaramo ne upravlja onim što radi, pa ni "prestani" ne znači ništa ako harness tu riječ ne pretvori u promjenu postavke.
Drugi su ovlasti. Program na računalu radi s ovlastima korisnika koji ga je pokrenuo, pa agent može pročitati sve što možemo i mi, uključujući datoteke drugih programa, a ne samo ono na što smo ga izričito spojili.
Dapače – jeste li ikada primijetili da vi i agent koristite isti sistemski clipboard za prebacivanje sadržaja? Vaš bot nešto linta ili prepisuje velike dijelove koda, c/p sve u šesnaest, a vi idete iz Worda prebaciti komad teksta u drugi dokument, a ono vidite golemu hrpetinu koda u Pythonu – na kojemu trenutno radi bot?
Ili s nekim razmjenjujete mailove, kopirate mu golemi komad povjerljivog materijala (zbog kojega i ne date pristup agentima vašem mailboxu), a vidite u terminalu da je Claude u tom trenu sebi "pejstao" taj komad materijala dok je radio na nečem desetom – jer oba imate pristup istom clipboardu…
Što bi rekla čuvena stručnjakinja za računalnu sigurnost Britney Spears: Hit me baby one more time...
Računalna sigurnost u doba agentske AI – više ideja i kao neki ideal kojem bismo trebali težiti, nego stvarnost, ali lijepo je vjerovati da tako nešto može postojati…
Vezano uz to je i činjenica da model, osim ako je lokalni, ne radi na našem računalu, pa sve što agent pročita mora poslati davatelju usluge da bi ga model uopće "vidio". Svaka provjera sandučića znači da sadržaj poruka, imena pošiljatelja i termini iz kalendara odlaze na tuđe poslužitelje, gdje vrijede pravila čuvanja podataka tog davatelja. Kod agenta koji se budi svakih nekoliko minuta to nije jedna poruka, nego stalni tok podataka.
Naša je preporuka zato jednostavna: trajne agente za nadzor pošte, poruka i kalendara ne treba pokretati na korisničkim računalima.
Agent neka radi kad ga pozovemo i za zadatak koji smo zadali, a kad ga završi, neka stane. Za ono što treba raditi stalno postoje pravila na poslužitelju e-pošte, filtri i obavijesti kalendara, koji sadržaj ne šalju trećoj strani. Ako tvrtka ipak želi agente, neka ih drži na odvojenom računalu ili računu s najmanjim potrebnim ovlastima, iza gatewaya koji svaki poziv bilježi i traži odobrenje, kao što je to učinio NewCore.
Usput, ovdje potpisani apsolutno ne razumije tu opsesiju davanja "rješenja" za probleme koji ne postoje. "Koristite agente za sređivanje vašeg maila i kalendara!".
Ako stvarno dobivate tolike količine maila na koji trebate odgovoriti ili uzeti u razmatranje (dakle, nije najobičniji spam koji se lako filtrira) ili vam je kalendar tako natrpan da "ne možete disati", onda vama ne treba bot. Treba vam sekretarica, koju vjerojatno već imate.
Osobno ne poznajem NIKOGA tko ima toliko mailova i termina u kalendaru da nije u stanju ljudski sve to obuhvatiti, već mu to treba "inteligentni bot" uraditi za njega.
Log koji ne postoji
Slučaj Grokove "agenture" otkriva još nešto: nijedan od 31 poziva nije zapisan u Grokovim logovima. Da NewCore nije imao vlastiti gateway, zaposlenici ne bi ni saznali da su se dogodili. Zapis koji vodi isti softver čije ponašanje želimo provjeriti pokazuje ono što taj softver odluči zabilježiti.
Ovdje potpisani terminalsku interakciju s Claude Codeom bilježi u log. (Dok smo napravili skriptu koja to radi pouzdano – trebalo je vremena…)
Takav log vidi samo ono što se pojavi na ekranu.
Claude Code, pak, vodi i vlastitu datoteku sesije, detaljniju, s pozivima alata i zapisom svakog zahtjeva poslanog na Anthropicove poslužitelje.
Tako za jednu od sesija piše da je u njoj zabilježeno 79 zahtjeva, a prema podacima o potrošnji model je 17.939 tokena potrošio na razmišljanje. Od 94 bloka razmišljanja u datoteci - 86 je praznih.
Imaju samo kriptografski potpis, a preostalih osam sadrži kratke bilješke o napretku duge od 150 do 290 znakova.
Ono što model "misli" ulazi u potrošnju, ali to nigdje na našem računalu ne možemo pročitati. I taj zapis piše isti program koji šalje zahtjeve. Neovisan zapis o tome što je, kada i koliko puta otišlo s računala može dati samo nešto što stoji između računala i oblaka, kao NewCoreov gateway.
Komentirajući ovaj incident u svom nedavnom videu, Eli the Computer Guy smatra da u tvrtkama za kibernetičku sigurnost, preventivno održavanje ili korisničku podršku, AI agenti imaju smisla ako ih dizajniraju i testiraju ljudi koji razumiju tehnologiju. Međutim, nije jasno zašto se toliko gura da ih na svoja računala instaliraju obični korisnici. Agent nije biće koje "zna" što radi na našem računalu. To je model koji predviđa tekst i hrpa drugog softvera oko njega, koji radi točno ono za što je programiran, pa i ono za što nas nitko nije pitao.
Posve se slažemo s Elijem.
Dok to ne postane vidljivo i provjerljivo, mjesto mu nije na računalu na kojem držimo poštu, poruke i kalendar. I na kojem dijelimo isti sistemski clipboard s botom.