Prema Googleovoj novoj analizi (PDF dokument) potrošnje energije procesora, namjenskih AI akceleratora i memorije, kako dok su aktivni na obradi upita, tako i dok miruju između upita, količina potrošene energije za jedan upit AI-ju jednaka je otprilike prosječnoj potrošnji energije tijekom 9 sekundi gledanja TV-a.

Tri glavna čimbenika nisu ušla u izračun. Jedan je ekološki trošak mrežnog kapaciteta koji se koristi za primanje zahtjeva i isporuku rezultata, a koji će se znatno razlikovati ovisno o zahtjevu. Isto vrijedi i za računalno opterećenje na hardveru krajnjeg korisnika; tu će biti ogromne razlike između nekoga tko koristi igraće računalo s većom količinom memorije, novog grafičkom karticom i raznim drugim dodacima i nekoga tko koristi pametni telefon. Jedina stvar za koju je Google mogao napraviti razumnu procjenu, ali nije, jest utjecaj treniranja svojih modela. U ovom trenutku, sigurno će znati troškove energije i vjerojatno može napraviti razumne procjene korisnog vijeka trajanja obučenog modela i broja zahtjeva obrađenih tijekom tog razdoblja. Ali to nisu uključili u trenutne procjene.

Kako bi došli do tipičnih brojki, tim koji je radio analizu pratio je zahtjeve i hardver koji ih je opsluživao tijekom 24 sata, kao i vrijeme mirovanja tog hardvera. To im daje procjenu energije po zahtjevu, koja se razlikuje ovisno o modelu koji se koristi. Za svaki dan identificiraju medijan upita i koriste ga za izračun utjecaja na okoliš.

Koristeći te procjene, otkrivaju da je utjecaj pojedinačnog tekstualnog zahtjeva prilično malen. "Procjenjujemo da medijan tekstualnog upita u Gemini Apps koristi 0,24 vat-sata energije, emitira 0,03 grama ekvivalenta ugljičnog dioksida i troši 0,26 mililitara (ili oko pet kapi) vode," zaključuju.

Loša vijest je da je volumen zahtjeva nedvojbeno vrlo visok. Tvrtka je odlučila izvršiti AI operaciju sa svakim pojedinačnim zahtjevom za pretraživanje, što je računalna potražnja koja jednostavno nije postojala prije nekoliko godina. Dakle, iako je pojedinačni utjecaj malen, kumulativni trošak vjerojatno će biti znatan.

Najveći dobici postignuti su na softverskoj strani, gdje su različiti pristupi doveli do smanjenja potrošnje energije po upitu za 33 puta u samo 12 mjeseci.

Googleov tim opisuje niz optimizacija koje je tvrtka napravila i koje doprinose tome. Jedan je pristup nazvan „mješavina stručnjaka“ (Mixture-of-Experts), koji uključuje pronalaženje načina za aktiviranje samo onog dijela AI modela potrebnog za obradu specifičnih zahtjeva, što može smanjiti računalne potrebe za faktor od 10 do 100. Razvili su niz kompaktnih verzija svog glavnog modela, koje također smanjuju računalno opterećenje. Upravljanje podatkovnim centrom također igra ulogu, jer tvrtka može osigurati da je svaki aktivni hardver u potpunosti iskorišten, dok ostatak ostaje u stanju niske potrošnje energije.

Druga stvar je da Google dizajnira vlastite prilagođene AI akceleratore i arhitekturu softvera koji se na njima izvodi, što mu omogućuje optimizaciju obje strane hardversko-softverske podjele kako bi dobro surađivale. To je posebno ključno s obzirom na to da aktivnost na AI akceleratorima čini više od polovice ukupne potrošnje energije upita.