Laži i AI benchmarci...

Kako ugurati litru u po'litru i jesu li AI benchmarci stvarna reprezentacija mogućnosti modela kojeg mjere ili samo mjere koliko je model dobar u tom jednom području – kako dobiti što veći rezultat na testovima

Drago Galić četvrtak, 18. lipnja 2026. u 15:18
📷 Bug/AI
Bug/AI

Stranice tehnološkog portala VentureBeat ovih dana prenose priču koja je u istraživačkim krugovima izazvala i oduševljenje i podozrenje: kineski model umjetne inteligencije s tek tri milijarde parametara na vrhunskom matematičkom natjecanju navodno parira stotinama puta većim AI modelima. Vijest se dotiče tri tipične točke današnje generativne AI - manijakalnu utrku za veličinom, sve klimaviju vjerodostojnost mjerenja i energetsku rastrošnost same tehnologije.

Iza modela VibeThinker-3B stoji istraživački tim kineske društvene mreže Sina Weibo, dakle tvrtke koju kod nas malotko povezuje s razvojem umjetne inteligencije. Njihov tehnički rad na arXivu donosi gotovo nevjerojatan rezultat: 94,3 boda na natjecanju AIME 2026, jednom od najtežih matematičkih ispita uopće.

Tom se brojkom izjednačuje s DeepSeekom V3.2 koji ima 671 milijardu parametara i nadmašuje Googleov Gemini 3 Pro koji doseže rezultat od 91,7, a uz posebnu tehniku provjere pouzdanosti odgovora penje se na 97,1.

Prethodnik VibeThinker-1.5B iz kraja 2025. dotreniran je za nešto manje od 8.000 dolara, što je red veličine jeftinije od onoga što velika imena troše na treniranje. U rangu mjesečnih troškova ozbiljnog korištenja Opusa 4.8 za manji razvojni tim koji plaća po tokenu – a da nije dodatno utrenirao Opus ni na koji način.

Ono što priču čini zanimljivom nije toliko sama brojka koliko reakcija struke. Umjesto slavlja - nelagoda: što uopće mjere famozni AI benchmarci?

Manje bi stvarno moglo biti bolje

Posljednjih godina industrija gura formulu - više parametara, više podataka, više grafičkih kartica, bolji model. Slučaj VibeThinkera to dovodi u pitanje jer ako sićušan model uistinu može stati uz bok divovima na određenim zadacima, onda je velik dio utrke u napuhavanje modela bio velika greška.

Dobitak bi bio stvaran i opipljiv. Model ove veličine vrti se na običnom računalu, a uz malo stiskanja i na snažnijem telefonu; radi lokalno, ne šalje podatke u oblak, troši zanemarivo malo struje i ne traži podatkovni centar od par milijardica dolara. To je ono o čemu se godinama priča - razvoj ozbiljnih, namjenskih modela postaje dostupan i timovima s budžetom od nekoliko tisuća, a ne stotina milijuna dolara.

No tu je i bitna ograda. VibeThinker je izoštren isključivo za matematiku i logičko zaključivanje, pa ga je teško pošteno mjeriti istim metrom kao generaliste koji bez problema sastave poslovni dopis, prođu kroz tuđi kod i odgovore na pitanje iz biologije. "Manje je bolje" stoji, ali samo unutar uskog područja. Pouka, dakle, nije da su veliki modeli suvišni, nego da za golem broj svakodnevnih, jasno omeđenih zadataka jednostavno ne treba industrijska dizalica iz brodogradilišta 3. Maj za podizanje šalice.

Tko još vjeruje testovima?

Neugodniji dio priče jest sumnja da rezultati uopće mjere ono što mislimo da mjere. Glavni krivac zove se kontaminacija benchmarka. Ako su zadaci s testa - ili njima vrlo slični - dospjeli u podatke na kojima je model treniran, on ih zapravo prepoznaje, a ne rješava. Stanje je toliko ozbiljno da su klasici poput MMLU, HumanEvala, HellaSwaga i izvornog GSM8K praktički umirovljeni: vodeći modeli na njima postižu rezultate veće od 90, što više ne govori ništa o stvarnoj sposobnosti.

Na to se nadovezuje i namjerno uljepšavanje rezultata. Objavi se najbolji pokušaj, a loši se prešute; biraju se baš oni testovi na kojima model briljira ili kako kažu - model se optimizira da položi ispit umjesto da svlada gradivo. Stručnjaci procjenjuju da pojedini benchmark ima vijek trajanja od svega šest do dvanaest mjeseci prije nego ga kontaminacija ili pretreniravanje učine bezvrijednim. Evaluacija je postala sve sličnija sigurnosnom testiranju - ne mjeri se samo koliko sustav zna, nego se branimo od sustava koji aktivno pokušava prevariti mjerenje.

Za VibeThinker to znači da istinu treba tražiti negdje između euforije i odbacivanja. Metodološki je tim napravio nešto doista zanimljivo, pristup zasnovan na poticanju raznolikosti rješenja. Ali dok rezultat ne potvrde neovisni testovi koje model nije mogao vidjeti, brojka 94,3 je tek eventualno točna. Najzdravija je reakcija, dakle, dobronamjeran skepticizam.

Suštinski problem generativne AI

Posljednja teza nadilazi bilo koji pojedinačni model i tiče se samih temelja. Današnja generativna AI počiva na transformerima, a njihovo srce je mehanizam pažnje (attention) koji za svaki novi token (riječ ili dio riječi) iznova pregledava sve prethodne tokene u kontekstu. Posljedica je da trošak ne raste linearno, nego kvadratno: udvostručimo li duljinu teksta, cijena obrade naraste otprilike četiri puta. Što je razgovor dulji, svaka iduća riječ košta sve više vremena, memorije i na kraju struje. Uostalom, vjerojatno ste i sami primijetili da se procesna snaga više ne mjeri u raznim FLOPS-ima, već u gigavatima.

Jedno od rješenja ovog problema je klizni prozor pažnje (sliding context window), kod kojeg model gleda samo posljednjih N tokena umjesto baš svih, čime se kvadratni trošak svodi na približno linearan. Tu su i predmemoriranje već izračunatih vrijednosti (KV cache), brže izvedbe pažnje poput FlashAttentiona, takozvana linearna pažnja te posve drukčije arhitekture, primjerice modeli stanja prostora (Mamba), koje izbjegavaju kvadratni rast. Svaka metoda nosi svoj kompromis - klizni prozor, recimo, lako zaboravi početak dugog dokumenta, pa trpi pamćenje dalekih veza u tekstu. Ukratko – na sredini "seanse" (sesije, rječnikom Claude Codea) model više nema pojma što uopće radimo, zna samo konkretan dio problema koji rješavamo, a kako je sve počelo – amnezija…

Prema procjenama Međunarodne agencije za energiju, podatkovni bi centri 2026. mogli progutati oko 1.050 TWh struje, koliko troši poneka srednje velika država  - otprilike 60 puta više od cjelogodišnje potrošnje cijele Hrvatske koja troši 17 - 18 TWh.

Najvažnije, glavni potrošač više nije treniranje modela, nego zaključivanje (inference) - svakodnevno posluživanje korisnika, na koje otpada 80 do 90 posto ukupne energije AI-a. Drugim riječima, svaki naš upit ima svoju cijenu, a zbog kvadratne naravi pažnje dulji upiti koštaju nerazmjerno više. Pojedine projekcije idu dotle da bi podatkovni centri do 2030. mogli tražiti i petinu ukupne svjetske potražnje za strujom.

Radi se, naravno, o posve nemogućem projektu jer za projektiranje, instalaciju i priključenje dodatne generacije električne energije u elektroenergetske sustave treba u prosjeku oko desetljeća. Podaci za SAD su da je rok isporuke samih velikih plinskih turbina danas narastao na 5-7 godina; priključenje na mrežu je preko 4 godine; prilagodba dalekovoda u prosjeku traži 10 godina za priključenje novih kapaciteta...  Sve neke takve ne baš pretjerano ohrabrujuće brojke za one koji bi počeli graditi „mini-nuklearne reaktore“ i „fuzijske elektrane“ na svakom koraku i za tjedan-dva („Maksimalno godinu dana!“) riješili sve probleme skaliranja…

Ako maleni i učinkoviti modeli poput VibeThinkera doista mogu obaviti ozbiljan posao, a arhitektonski trikovi dodatno skrešu trošak po upitu, onda budućnost možda nije u sve većim modelima i sve većim podatkovnim centrima, nego u pametnijoj, štedljivijoj i specijaliziranijoj umjetnoj inteligenciji.

Međutim, brojke kojima sve to dokazujemo trebale bi stvarno nešto značiti, jer je ovaj rezultat testa ponovio pitanje koje je već neko vrijeme očito svima koji prate nevjerojatne rezultate na ljestvicama: što se uopće mjeri i je li to ikakva stvarna mjera sposobnosti modela?