Ogromni infrastrukturni dogovori u svijetu umjetne inteligencije, vrijedni stotine milijardi dolara, temelje se na pretpostavci da će se algoritmi nastaviti poboljšavati s povećanjem mjerila. No, što ako ta pretpostavka nije točna? Prema novoj studiji s MIT-a, čini se da bi najveći i računski najintenzivniji AI modeli uskoro mogli ponuditi sve manje povrata u usporedbi s manjim, ali efikasnijim modelima.

Istraživači su mapirali kako se performanse AI modela poboljšavaju s povećanjem veličine u usporedbi s poboljšanjima u njihovoj učinkovitosti i otkrili da bi moglo postati sve teže postići značajne skokove u performansama s divovskim modelima. S druge strane, poboljšanja u učinkovitosti mogla bi modele koji se izvršavaju na skromnijem hardveru učiniti iznenađujuće sposobnima u sljedećem desetljeću.

"U idućih pet do deset godina, vrlo je vjerojatno da će se razlika početi smanjivati", kaže Neil Thompson, računalni znanstvenik i profesor na MIT-u uključen u studiju. Skokovi u učinkovitosti, poput onih viđenih s iznimno isplativim modelom DeepSeek u siječnju, već su poslužili kao provjera realnosti za AI industriju, naviknutu na trošenje ogromnih računalnih resursa.

Trenutno, vrhunski model tvrtke poput OpenAI-ja znatno je superiorniji od modela treniranog sa samo djelićem resursa u nekom akademskom laboratoriju. Iako se predviđanje MIT-ovog tima možda neće ostvariti ako, primjerice, nove metode treniranja donesu neočekivane rezultate, ono sugerira da će velike AI tvrtke u budućnosti imati manju prednost.

Hans Gundlach, znanstvenik s MIT-a koji je vodio analizu, zainteresirao se za ovo pitanje zbog nepraktičnosti pokretanja najmodernijih modela. Zajedno s Thompsonom i Jaysonom Lynchom, mapirao je buduće performanse vodećih modela u usporedbi s onima izgrađenima skromnijim računalnim sredstvima. Gundlach ističe da je predviđeni trend posebno izražen kod modela za rezoniranje, koji se više oslanjaju na dodatno računanje tijekom korištenja modela za rješavanje zadataka. Thompson dodaje kako rezultati pokazuju vrijednost usavršavanja algoritama, a ne samo povećanja računalne snage. "Ako trošite puno novca na treniranje ovih modela, onda biste apsolutno trebali dio toga potrošiti na razvoj učinkovitijih algoritama, jer to može imati ogroman utjecaj", zaključuje.

Ova studija posebno je zanimljiva u kontekstu današnjeg buma (ili bolje rečeno "balona") ulaganja u AI infrastrukturu, koji ne pokazuje znakove usporavanja. OpenAI i druge američke tehnološke tvrtke potpisale su ugovore vrijedne stotine milijardi dolara za izgradnju AI infrastrukture. "Svijetu treba mnogo više računalne snage", izjavio je predsjednik OpenAI-ja, Greg Brockman, najavljujući partnerstvo s tvrtkom Broadcom za razvoj prilagođenih AI čipova.

Ipak, sve veći broj stručnjaka dovodi u pitanje isplativost takvih poslova. Otprilike 60 posto troškova izgradnje podatkovnog centra odlazi na grafičke procesore (GPU), čija vrijednost brzo opada. Partnerstva između glavnih igrača također se čine složenima i netransparentnima, što dodatno potiče sumnju u dugoročnu održivost trenutne strategije "što veće, to bolje".