Bloomberg je sredinom srpnja stavio na YouTube segment o Kimiju K3, novom modelu kineskog Moonshota. Prije nego se osvrnemo na konkretan video, spomenimo da općenito zapadne „analize“ kineskih modela spadaju u jednu od dvije opće kategorije: a) došli Kinezi, sve će nas pošpijuniraju! i b) kineski AI modeli su toliko nevjerojatno dobri da će uništiti američke!

U obje ove dvije opće kategorije gotovo uvijek upadne analitičarska metodologija „fokusirajmo se isključivo na jednu jedinu stvar koju model donosi i zaboravimo sve ostale kao da stvarno nemaju nikakvog praktičnog značenja u stvarnoj primjeni“. Za „analitičare“ obično i nemaju, jer su to uglavnom ljudi koji jedan dan „analiziraju“ proizvodnju konzervirane juhe, drugi dan tržište naftnih derivata, a treći dan se vraćaju AI modelima. Nisu doktori, ali mogu da pogledaju…

U taj obrazac izvrsno se uklapa gornji video gdje Ed Ludlow pita, a Mary D'Onofrio iz Crosslink Capitala odgovara i cijeli razgovor stane u jednu rečenicu: modeli otvorenih težina sustižu vrhunske, cijena izvođenja pada!

(Zaključak joj je da AI postaje pristupačniji – netočno na primjeru najboljeg u tom području, Anthropica kojemu je svaki novi model sve skuplji – recimo Fable 5. Dalje zaključivanje ide u smjeru da ukupna potrošnja ipak neće pasti jer potražnja raste brže od cijena što je, usput, totalno suprotno nedavno javno objavljenom podatku da tvrtke masovno ukidaju neograničenu potrošnju tokena. Ponovo Đenkino: „Maši, maši ručicama, analitičarko…“)

Model o kojem se govori nije model koji postoji

Kimi K3 jest po svim mjerenjima izvrstan. To treba reći odmah i bez ograda, jer sve što slijedi nije napad na njega. Model ima 2,8 bilijuna parametara, kontekst od milijun tokena, nativni „vid“ i na Areninom slijepom testiranju izrade sučelja programeri su ga na dan objave stavili ispred svega ostalog. To je ozbiljan rezultat. Dakle, radi se o modelu koji se po sposobnostima može mjeriti s komercijalnim „frontier“ modelima, a cijenom je ispod njih, ali jedna od brojnih stvari koje uopće nisu ušle u ovu navodnu analizu je da je Kimi K3 bitno sporiji od OpenAI-jevog novog Sola (koji je, pak, rm -rf kompletan radni direktorij – priča za neki drugi tekst) i Fablea 5. Po goloj proizvodnji tok/s, K3 daje oko 35 do 39 tok/s, Fable 5 71,7 tok/s, a Sol (Max) 63,5 tok/s.

Dakle, već tu govorimo o uočljivo sporijem modelu.

Međutim, u testovima zadataka, stvari idu još manje na ruku K3 jer za isti zadatak potroši gotovo 50% više tokena (interno više provjerava svoj izlaz), pa na kraju vrijeme dovršenja konkretnog zadatka nije dvostruko dulje kako bi se dalo zaključiti po izbacivanju tokena u sekundi, nego ovisno o zadatku i do preko tri puta veće.

U Bloombergovoj „analizi“ ovo se uopće ne spominje. Izgleda da je među gospodom sada normalno spominjati cijene, a neumjesno je raspravljati o brzini, u ovom slučaju AI modela…

Analitičari koji ne poznaju ideju iteracije

Analitičarska slika svijeta pretpostavlja da posao izgleda ovako: pošalješ pitanje, dobiješ odgovor, platiš tokene. Pomnožiš s brojem zaposlenih i dobiješ tablicu za investitore.

Stvarni posao izgleda drukčije. Agent pročita dio koda, pozove alat, pokrene testove, pročita ispis, shvati da je pogriješio, popravi, pokrene ponovno. Jedan zadatak je petlja od nekoliko desetaka koraka, a svaki korak ovisi o prethodnom. U takvom rasporedu cijena je samo jedan faktor u umnošku, i to ne najveći.

Točnost iz prvog pokušaja određuje koliko se puta petlja mora ponoviti. Pouzdanost pozivanja alata određuje hoće li se petlja uopće vrtjeti ili će se raspasti na krivo formatiranom pozivu. Latencija po koraku množi se s brojem koraka, pa model koji je po tokenu jeftiniji, a po odgovoru sporiji tri sekunde, na zadatku od četrdeset koraka gubi dvije minute. Ograničenja propusnosti određuju koliko agenata smijemo pustiti paralelno. Dostupnost određuje hoće li sve to raditi u utorak u šesnaest sati, kad rade i svi ostali, ili ćemo dobiti poruku da su pretplate zatvorene.

Zato ozbiljne usporedbe ne mjere cijenu tokena nego cijenu po obavljenom zadatku i tu se vraćamo na cjenik s početka. Po neovisnom mjerenju Artificial Analysisa K3 jedan zadatak rješava za oko 0,94 dolara, GPT-5.6 Sol za 1,04, a Fable 5 za 2,75. 

Međutim, sama cijena u stvarnom životu i stvarnim inženjerskim odlukama gotovo nikada nije ni ključni ni jedini kriterij. U stvarnosti najčešće gledamo optimalan zbroj ili umnožak kriterija gdje svaki od njih ima gornju i donju granicu koju bi trebalo zadovoljiti da bi neko rješenje uzeli u razmatranje.

Ilustracija koja je ovog mjeseca prošla programerskim Internetom bolja je od bilo kakvog grafikona, a na nju se osvrnuo Primeagen na svom kanalu.

Avi Press, osnivač tvrtke Scarf, član uprave Haskell Foundationa i šesnaest godina korisnik tog jezika, objavio je 10. srpnja da nakon sedam godina u produkciji seli razvoj s Haskella. Razlog nije cijena ničega. Razlog je vrijeme prevođenja. Hladni build zna trajati petnaest minuta, a kad se na projekt pusti deset agenata koji paralelno istražuju deset različitih pristupa, deset takvih buildova pretvori radni dan u čekaonicu.

Pressova rečenica je precizna: ako jezični model napiše upotrebljivu implementaciju u nekoliko minuta, a korak prevođenja traje bitno duže, jezik je postao usko grlo.

Zanimljiviji je nastavak. Nisu prešli na Rust, što bi bio očekivani potez ljudi naviknutih na strogi tipski sustav. Novi API pišu u Pythonu (s Haskella na Python - ovo zavrjeđuje film, ili barem knjigu samo po sebi...) i to tako da su Python poslužitelj postavili uz postojeći Haskell i preusmjeravaju promet, umjesto da bilo što prepisuju.

Jedna tvrtka nije statistika i Haskell nije umro u srpnju. Ali nije bitno koliko ih je, nego po kojoj su se osi pomaknuli. Nitko u toj priči ne spominje cijenu tokena. Spominju se minute, paralelizam i to koliko puta na dan možemo isprobati ideju. Odatle i predviđanje koje je uz taj tekst izrekao Primeagen: nakon točnosti i cijene, sljedeće bojište bit će brzina. Ne brzina u smislu tokena u sekundi na marketinškom slajdu, nego brzina cijelog kruga od ideje do provjerenog rezultata.

Struka koja nikad ne provjerava vlastite rezultate

Postoji cijeli sloj ljudi koji profesionalno objašnjava područja u kojima nikada nisu radili ni dana. Prošle godine su objašnjavali lance opskrbe, ove godine objašnjavaju agente, dogodine će objašnjavati nešto treće i svaki put s jednakim samopouzdanjem, jer se posao ne sastoji od znanja nego od nastupa.

Najlakše ih je provjeriti unatrag. Nitko iz te branše nije najavio da će chatbot postati potrošački proizvod, nitko nije predvidio da će ozbiljna konkurencija vrhunskim modelima doći iz Kine, nitko nije predvidio ni jedan od zaokreta u dinamici tržišta koje sada objašnjavaju kao da su bili očekivani. Svaki od tih događaja objašnjen je tek naknadno, uvijek uvjerljivo i uvijek kao logičan ishod. To je i cijela vještina: retroaktivna "predviđanja".

Razlog zašto ta struka preživljava je jednostavan. Predviđanja se nikad ne boduju. Nema tablice u kojoj piše što je tko tvrdio 2023. i što se od toga obistinilo, nema posljedice za promašaj, a sljedeći nastup u studiju ne ovisi o prethodnom pogotku. U svakoj struci u kojoj se rezultat mjeri, ovakav bi omjer značio kraj karijere. Ovdje znači stalnu gažu.

Milijuni za savjet da se smeće stavi u kantu

Konzultantski posao ista je logika, samo skuplja i s većim posljedicama.

Grana je u dvadeset i pet godina narasla sa stotinjak milijardi dolara na više od bilijuna, brže od gotovo svega u svjetskom gospodarstvu. Nije narasla zato što je svijetu ponestalo stručnjaka. Narasla je zato što je poslovodstvima zatrebao vanjski potpis. Pogledajte izvrsne videe Anne Bocce na ovu temu - inače, i same bivše „konzultantice“.

Povijest je poučna. Prvi konzultanti s kraja devetnaestog stoljeća bili su inženjeri koji su znali nešto konkretno. James McKinsey osnovao je svoju tvrtku 1925. na troškovnom računovodstvu, a savjet se vrlo brzo sveo na otpuštanja i gušenje sindikata radi kratkoročne dobiti. Osamdesete i devedesete, s deregulacijom i privatizacijama, otvorile su i javni sektor: Thatcherica je državnu potrošnju na konzultante tijekom svog mandata povećala četrdeseterostruko, a konzultanti su vladama savjetovali i kada da unajme još konzultanata.

Ono što se za taj novac isporučuje ilustrira New York. Grad je McKinseyju platio četiri milijuna dolara za studiju o tome je li smeće bolje držati u zatvorenim kantama nego u vrećama na pločniku. Rezultat je prezentacija od 95 slajdova pod naslovom "Budućnost smeća", što ispada oko 42 tisuće dolara po slajdu. Stručni termin za kantu, saznajemo, glasi "kontejnerizacija".

Britanski sustav testiranja i praćenja tijekom pandemije unajmio je 900 Deloitteovih konzultanata po tisuću funti dnevno, ukupno oko milijun funti na dan, uz pojedine savjetnike koji su naplaćivali preko šest tisuća funti dnevno. Ugovori s tom jednom tvrtkom vrijedili su blizu 300 milijuna funti. Sustav nije radio.

U Stockholmu je Boston Consulting Group šest godina naplaćivao Novoj Karolinskoj 257 milijuna kruna, više od 700 tisuća kruna mjesečno po svakom od devet konzultanata, za uvođenje modela upravljanja koji je bolnicu trebao pretvoriti u svjetski uzor. Pretvorio ju je u jednu od najskupljih bolnica na svijetu, s odlaskom osoblja i rastućim redovima za operacije.

Najgori je slučaj opioidni. McKinsey je savjetovao Purdue Pharmu kako prodati više OxyContina, ciljanjem liječnika koji najviše propisuju i poticajima za prodajno osoblje, dok je istodobno savjetovao i američku agenciju za lijekove koja je taj isti lijek nadzirala. FDA za taj dvostruki angažman nije znala. Nagodbe su premašile pola milijarde dolara, priznanja krivnje nije bilo, a u internoj korespondenciji raspravljalo se o brisanju dokumentacije. Savjetovanje obiju strana u većini je profesija zabranjeno. U konzultantskoj nije.

Proizvod nije analiza nego alibi

Kad se poredaju ovako, ti slučajevi izgledaju kao niz skupih promašaja. Nisu. Oni su proizvod koji radi točno ono za što je plaćen.

Uprava koja želi otpustiti tisuću ljudi ne treba analizu. Ona zna što će napraviti. Treba joj dokument s tuđim logotipom koji to preporučuje, kako bi odluka izgledala kao nalaz, a ne kao izbor. "Tako je rekao McKinsey" rečenica je koja se izgovara na sjednici nadzornog odbora i na televiziji, i koja odgovornost prebacuje na tvrtku koja za rezultat ne odgovara ničim.

To objašnjava sve ostalo. Objašnjava zašto se plaćaju slajdovi umjesto rezultata, zašto posao rade dvadesetpetogodišnjaci bez ijednog dana iskustva u branši o kojoj pišu, zašto se koristi jezik od kojeg se vrti u glavi i zašto se objavljuju "studije" koje nikad ne prolaze recenziju. Kad je proizvod prodaja unaprijed donesene odluke, kvaliteta sadržaja je sporedna. Bitno je da na koricama piše pravo ime.

I zato konzultanti nikad ne odgovaraju za ishod. Desetogodišnji projekt objedinjavanja baza podataka američkog ratnog zrakoplovstva propao je nakon potrošene milijarde dolara i nitko nije snosio posljedice. Da je to bio inženjerski projekt s inženjerskom odgovornošću, netko bi izgubio licencu.

Najbolji dokaz da ta struka ne zna procijeniti ništa je to što ne zna procijeniti ni samu sebe.

McKinsey ove godine smanjuje oko deset posto radne snage, tri do četiri tisuće ljudi, uz obrazloženje da im umjetna inteligencija diže produktivnost. Rezovi se koncentriraju upravo tamo gdje se posao stvarno obavljao: mlađi istraživači, izrada analiza, sastavljanje izvještaja. Drugim riječima, tvrtka koja prodaje planove restrukturiranja svoj problem profitabilnosti rješava jedinim potezom koji je ikad znala preporučiti, a taj potez sada pogađa ljude koji su te preporuke pisali.

Tvrtka koja godišnje naplaćuje milijarde za savjete o transformaciji poslovanja nije predvidjela da će prvi posao koji softver preuzme biti izrada prezentacija.

Anketa u kojoj samo trinaest posto tvrtki smatra da konzultanti čine više dobra nego štete tu je već samo potvrda.

Pitanje za "struku"

Oduševljenje i otpisivanje ista su greška: "kineski model je sve promijenio" i "to je samo još jedan chatbot" jednako su beskorisne rečenice, jer obje jednu brojku uzimaju kao zamjenu za cijeli sustav.

Kimi K3 je stvarno dobar model i objava njegovih težina stvarno nešto mijenja, samo ne ono o čemu se u studiju govorilo. Mijenja to što će ga netko moći pokrenuti na vlastitom klasteru, provjeriti proizvođačevu tablicu do zadnjeg retka i usporediti ga s onim što već ima u pogonu. Ono što je o njemu već sada izmjereno neovisno, cijena po obavljenom zadatku, ide mu u prilog. Samo što to nije brojka koja je stigla do studija.

Ovdje potpisani iskreno vjeruje da će open-weight modeli posve uzeti tržište zatvorenim modelima poput Anthropicovih i OpenAI-jevih iz jednostavnog razloga jer ne postoji „magični sastojak“ koje ovi imaju, a koji se ne može replicirati iz gomile podataka koju koriste kineske tvrtke za isti posao kao i Anthropic i OpenAI.

Sljedeći put kad netko objasni da cijene padaju pa će AI zato biti posvuda, vrijedi postaviti pitanje koje razgovor odmah vrati na zemlju: koliko košta jedan gotov i provjeren zadatak, koliko dugo traje, koliko puta ne uspije iz prve i radi li to u utorak popodne.

Ako na to postoji odgovor, razgovaramo o poslu. Ako ne postoji, razgovaramo o slajdu. A slajd, kako smo naučili u New Yorku, stoji 42 tisuće dolara.

Nekada je cijena uistinu jedina kategorija koja nam je važna, nekada je brzina, a nekada je nešto drugo – recimo domet haubice koji je 10% veći od dometa najdalekometnije neprijateljske haubice. U tom slučaju, tih 10% je prednost od 100% jer svaku njegovu haubicu možemo neutralizirati našom, ako su svi ostali elementi na bojištu jednaki.

Ali, u stvarnom životu, posebno u inženjerskim i praktičnim pitanjima, odabir gotovo nikada ne ovisi samo o cijeni, samo o brzini, samo o tome je li nešto otvorenog koda/open-weight, moguće pokrenuti lokalno, samo u oblaku ili bilo koji pojedinačni kriterij sam po sebi, neovisan o svim drugima.

Koliko vrijedi konzultant i analitičar sada kada imamo LLM-ove? Ovi se barem, kad ih natjeramo, potrude proći Internet i potražiti stvarne brojke, pa sami iz njih nešto zaključimo. Ili ne.

U svakom slučaju ne platimo milijune za stručni savjet da je smeće ipak bolje bacati u kante, a ne držati u vrećama nasred ceste.