Ne znamo je li Nvidija proizvela nekoliko vagona RTX Sparkova s kojima ne zna što bi, pa ih neprestance pokušava prodati u partnerstvu s Microsoftom. Možda se radi i o nekoj okladi ili internoj šali Jensena Huanga i Satye Nadelle, ali kao "rješenje za lokalni AI" ponovljenom žestinom nam ovaj dvojac već drugi puta ove godine nudi vrlo neimpresivan proizvod koji se hvali da može adresirati "čak do 128 GB memorije!".

Odat ćemo jednu "tajnu", koja to za one koje zanima hardver zapravo uopće nije. I postojeći Nvidijini grafički procesori u RTX karticama mogu adresirati daleko više memorije nego što je ugrađeno na samu karticu. Govorimo o terabajtima: osim vlastitog VRAM-a, GPU preko PCIe sabirnice može koristiti i radnu memoriju računala. A ni sam VRAM nije ograničen tehnikom, nego odlukom.

Tako su, primjerice, kartice RTX 5090 i RTX PRO 6000 izrađene na istom čipu - GB202. Prva ima 32 GB memorije i predstavljena je po cijeni od 1.999 dolara. (Naravno, u stvarnoj prodaji teško ju je naći i za tri puta veće svote.)

Druga, RTX PRO 6000, ima 96 GB i nešto više aktivnih jezgri, a košta 8.565 dolara – po cjeniku. Također, u stvarnosti i više.

Između njih ne stoji tehnička prepreka, nego cijena kao posljedica odluke o segmentaciji tržišta. Kućnom korisniku koji želi pokrenuti velike jezične modele Nvidia zato ne nudi tu istu karticu s više memorije. Nudi mu RTX Spark, čip s do 128 GB spore memorije, koji je Microsoft u San Franciscu ugradio u Surface Laptop Ultra. Računala s njim stoje od 2.600 do 6.000 dolara.

Zašto 300 GB/s, kolika je propusnost memorije na koju je spojen Spark, nije dovoljno da se iskoristi 128 GB, objasnili smo još u lipnju kad smo testirali GX10.

Ovaj put pitanje je drukčije: kome Spark uopće treba, kad rješenje već stoji u kućištu računala i to u obliku Nvidijinog vlastitog čipa na grafičkim karticama?

Brz kad mu ne treba memorija

Na Asusovu GX10 s Nvidijinim čipom GB10 izmjerili smo dvije krajnosti. MoE (mixture of experts) model Qwen3-30B, koji za svaki token koristi tek manji dio svojih težina, pisao je 77,5 tokena u sekundi uz potrošnju od 50 W. To je oko 0,65 džula po tokenu, odličan rezultat.

Međutim, gusti model - Llama 3.3 od 70 milijardi parametara kojemu za svaki token trebaju sve težine - pisao je 4,9 tokena u sekundi uz 48 W, gotovo 10 džula po tokenu. Petnaest puta više energije za isti tekst i glacijalna "brzina" generiranja tokena, prikladna za dopisni, a ne interaktivni rad.

Spark, dakle, blista upravo onda kad mu ne treba 128 GB. Koje ima. Kapacitet ima smisla tek za velike guste modele, a upravo na njima Spark izvodi svoj sprint smrtno ranjenog puža. To se vidjelo i neki dan u San Franciscu, gdje je Microsoft predstavio svoju viziju hibridnog AI-ja (lokalni i AI u oblaku): modeli koje su pokazali kao lokalne bili su isključivo MoE modeli, stisnuti na 1,6 do 3 bita.

Kao što znaju oni koji s Hugging Facea skidaju razne kvantizacije open weight modela za lokalno pokretanje, ispod tri bita kvaliteta u pravilu naglo pada, a na 1,6 ili 2 bita model je kvantiziran do sakaćenja. Tri bita još mogu dobro raditi, što je pokazao i naš test Strate 177B.

DeepSeek V4 Flash na 1,6 bita po kvaliteti kodiranja ima vrlo malo veze s izvornim modelom od kojega je izveden. Tu je i nemogućnost održavanja dugog konteksta, a naše vlastito iskustvo pokazalo je da ovako agresivna kvantizacija često ubija i ispravno pozivanje alata.

Kartica koja vidi cijelo računalo

Grafičkoj kartici VRAM nije zid. Preko PCIe sabirnice dohvaća i radnu memoriju računala, koje u stolnom računalu može biti 64, 128 ili više gigabajta. Ta je veza spora, ali MoE modelu to ne mora smetati: ako u VRAM-u kartice drži eksperte koji se najčešće traže, ostale iz RAM-a povlači tek povremeno.

Na tome radi gore spomenuta Strata 177B, a koja je i u sadašnjoj ranoj, razvojnoj verziji, doslovce revolucija za lokalni AI na radnom računalu.

Radi se o preradi Qwena 3.8 Flash od 177 milijardi parametara, 76 GB na disku, a na našem je računalu s RTX 4080 od 16 GB VRAM-a i 64 GB RAM-a u prosjeku generirala 77 tokena u sekundi. Međutim, za manje zadatke i manju duljini radnog konteksta, generiranje je išlo i do 120 tok/s. Toliko daju i komercijalni modeli u oblaku, a mnogi su i bitno sporiji.

I ne samo da je generiranje brzo, već u radu sa Stratom 177B stvarno imamo osjećaj kao da radimo s modelom od 177 milijardi parametara, a ne s nekim od uobičajenih modela za lokalno pokretanje koji su obično tri, četiri, pet puta manji, a neki i više. To je model kojemu se ne treba svaki prompt pet puta iznova pisati i dorađivati da bismo objasnili što tražimo na način na koji je model to u stanju i "razumjeti".

U našim mjerenjima Strate 177B, traženi ekspert je u 60-80% slučajeva već učitan u VRAM. Najveći MoE model koji smo vrtjeli na GX10, Qwen3-Coder s 235 milijardi parametara, pisao je 40 tokena u sekundi. Modeli nisu isti, ali razlika je gotovo dvostruka u korist kartice od 16 GB u računalu čiji je procesor star šest godina.

Za guste modele taj pristup ne pomaže, jer im svaki token traži sve težine. No smjer razvoja je jasan: tri modela koje je Microsoft pokazao kao lokalne, DeepSeek V4 Flash, Kimi K2.6 i Llama 4 Maverick, MoE su modeli. Ondje grafička kartica s pametnim softverom ne zaostaje za Sparkom, nego ga prestiže. Takav softver, doduše, nije došao iz Nvidije, iako bi joj pomogao prodavati kartice.

Sparku ne bi pomogao.

32 GB je odluka, a ne granica

Ograničena memorija na RTX 5090 nije jedina zlonamjerna odluka Nvidije. Ova tvrtka je od serije RTX 40 izbacila NVLink iz GeForce kartica, pa dvije kartice danas razgovaraju samo preko višestruko sporije PCIe sabirnice. Licenca za GeForce upravljačke programe od 2017. zabranjuje njihovu upotrebu u podatkovnim centrima. Poruka je dosljedna: brza memorija i puna propusnost idu velikim kupcima, podatkovnim centrima i pružateljima oblaka, a pojedinačni korisnik dobiva performanse na kapaljku. Spark je ta kapaljka koju Nvidija uporno pokušava prodati predstavljajući je kao crijevo za zalijevanje.

Kome Spark treba?

Tko mora vrtjeti isključivo gusti model i bez Interneta, u Sparku možda ima rješenje. Ali - ni u toj niši Spark nije jedini: MacBook Pro s čipom M4 Max također nudi do 128 GB, a propusnost od 546 GB/s, gotovo dvostruko više od Sparka.

Mi, istinabog, još nismo stvarno sreli nikoga tko stvarno spada u ovu više teoretsku nego stvarnu nišu - korisnika kojem treba mali i spori lokalni AI bez Interneta i može ga iskoristiti da nešto stvarno napravi. Komercijalni servisi na Internetu nude sposobnije non-frontier modele s bržom generacijom tokena s cijenom koja se mjeri u par desetaka centi po milijunu tokena. U usporedbi s cijenom amortizacije računala sa Sparkom, ovo je bagatela. 

Oni koji rade nešto strašno "osjetljivo" i tajno pa stoga izbjegavaju komercijalne servise i Internet, vjerojatnije se nalaze unutar organizacija koje si mogu priuštiti vlastite AI servere bazirane na H100, B200 ili nečem sličnome - ne RTX Sparku.

Ako je išta pogodilo "žicu" na Microsoftovom predstavljanju hibridnog AI-ja u San Franciscu, to je onda bilo baš brisanje granice AI-ja u oblaku i lokalnog modela. Veliki model u oblaku (dakle, ipak nam treba Internet…) može se koristiti za razmišljanje, a onda zadatak generiranja tokena elegantno preda manjem, glupljem, lokalnom modelu kojem precizno definira u promptu što očekuje od njega. To već ima smisla.

Međutim, za to lokalni AI ne treba novu kategoriju računala i to baš s Nvidijinim Sparkom.

Treba grafičku karticu s više memorije, koju Nvidia već proizvodi, ali je prodaje samo po profesionalnim cijenama. I treba softver koji pametno koristi memoriju koju već imamo.

Prvo ovisi o Nvidiji. Drugo je već na GitHubu - Strata 177B.