Početni entuzijazam oko alata za kodiranje potpomognutih umjetnom inteligencijom, koji su obećavali revoluciju u produktivnosti, polako ustupa mjesto rastućoj zabrinutosti. Prema najnovijoj analizi tvrtke Gartner, troškovi korištenja ovih alata mogli bi do 2028. godine premašiti prosječnu plaću developera. Glavni uzrok ovog trenda leži u promjeni modela naplate, gdje fiksne pretplate zamjenjuje plaćanje po potrošnji takozvanih tokena.

Tvrtke koje su s pilot-projekata prešle na masovnu primjenu AI alata u svojim razvojnim timovima sada se suočavaju s nepredvidivim i često nekontroliranim rastom troškova. Svaka akcija koju developer poduzme  troši tokene, jedinice podataka koje AI modeli obrađuju. Organizacije tako na kraju plaćaju visoku cijenu za povećanje produktivnosti koje ovi alati donose. Analitičari upozoravaju da mnoge tvrtke značajno podcjenjuju kojom brzinom potrošnja tokena raste jednom kada AI postane sastavni dio svakodnevnog rada.

"Lideri softverskog inženjeringa sve su zabrinutiji jer troškove umjetne inteligencije vođene tokenima postaje sve teže opravdati, a budžeti se često iscrpljuju ranije od očekivanog", objašnjava Nitish Tyagi, viši glavni analitičar u Gartneru. Podaci koje navode strani mediji pokazuju da 23 posto tehnoloških lidera već sada troši između 200 i 500 američkih dolara mjesečno po developere na tokene, dok 6 posto organizacija izdvaja više od dvije tisuće dolara mjesečno.

Problem discipline i transparentnosti

Iako se tvrtke suočavaju s višim troškovima, zauzvrat dobivaju i bolje rezultate. Developeri kao ključne prednosti navode bržu isporuku, praktičnost i kvalitetnije generiranje koda, zbog čega je malo vjerojatno da će se dobrovoljno odreći korištenja AI alata ili smanjiti potrošnju tokena ako to znači usporavanje njihovog rada.

"Disciplina oko tokena neće nastati samo odlukom programera, jer oni imaju tendenciju optimizirati rad za brzinu i praktičnost, a ne za troškovnu učinkovitost", dodaje Tyagi, naglašavajući potrebu za uspostavom jasnih organizacijskih pravila i nadzora.

Kako prenosi Tech Crunch, bez upravljačkog modela, troškovi mogu rasti brže od dobitaka u produktivnosti koje ti alati obećavaju. Problem dodatno komplicira činjenica da mnogi dobavljači AI usluga ne pružaju dovoljnu transparentnost o tome kako se točno tokeni broje i naplaćuju. Zbog toga se tvrtke muče s predviđanjem budućih troškova i optimizacijom potrošnje.

FinOps for AI kao rješenje?

Kao odgovor na rastuće i nepredvidive troškove, u industriji se pojavljuje novi trend poznat kao "FinOps for AI". FinOps (financijske operacije) je praksa koja donosi financijsku odgovornost u varijabilni model potrošnje u oblaku, a sada se isti principi primjenjuju i na područje umjetne inteligencije. Cilj je uspostaviti bolju kontrolu i upravljanje troškovima AI-a kroz nekoliko ključnih strategija.

To uključuje uspostavljanje jasnih standarda i pravila o korištenju AI alata unutar organizacije, optimizaciju odabira AI modela prema složenosti zadatka, gdje se za jednostavnije poslove koriste manji i jeftiniji modeli, te implementaciju sustava za praćenje potrošnje tokena.

Jednako je važna i edukacija timova kako bi developeri i ostali dionici postali svjesni financijskih implikacija svog rada s AI alatima. Ovaj pristup zahtijeva blisku suradnju između financijskih, tehnoloških i poslovnih timova kako bi se osiguralo da ulaganja u umjetnu inteligenciju budu održiva i da donose stvarnu poslovnu vrijednost.