AI modeli ne mogu odrediti vrijeme ni čitati kalendar
Izazovi u vizualnoj i prostornoj obradi te manjak podataka za obuku otkrili su iznenađujući nedostatak sposobnosti mjerenja vremena u sustavima umjetne inteligencije
Čitanje analognog sata ili određivanje dana na koji će pasti neki datum jedan od zadataka koji većina ljudi obavlja s lakoćom, dok se umjetna inteligencija muči s točnim odgovorom. Novo istraživanje pokazalo je da AI možda može pisati kod, generirati realistične slike, stvarati tekst koji zvuči ljudski, pa čak i polagati ispite s različitim stupnjevima uspjeha no da istovremeno rutinski pogrešno tumači položaj kazaljki na svakodnevnim satovima i ne uspijeva u osnovnoj aritmetici potrebnoj za kalendarske datume.
Slaba sposobnost čitanja vremena
"Nalazi ističu značajan jaz u sposobnosti umjetne inteligencije da obavlja ono što su za ljude prilično osnovne vještine“, rekli su istraživači Sveučilišta u Edinburghu predstavljajući ove "neočekivane" (Zapravo vrlo očekivane jer modeli nisu trenirani na slikama analognih satova i kalendara - op. ur.) nedostatke na Međunarodnoj konferenciji o reprezentacijama učenja (ICLR), ali i na portalu arXiva.
Istraživači su u različite multimodalne modele velikih jezika (MLLM) ubacili prilagođeni skup podataka satova i kalendara koji mogu obrađivati vizualne i tekstualne informacije. Modeli korišteni u studiji - Llama 3.2-Vision, Claude-3.5 Sonnet, Gemini 2.0 i GPT-4o - nisu mogli prepoznati točno vrijeme sa slike sata ili dan u tjednu za uzorak datuma više od polovice vremena. Istraživači nude i objašnjenje za iznenađujuće slabe sposobnosti AI u čitanju vremena.
Ograničeni podaci
"Rani sustavi trenirani su na temelju označenih primjera, a očitavanje sata zahtijeva prostorno razmišljanje. Model mora detektirati preklapajuće kazaljke, mjeriti kutove i snalaziti se u različitim dizajnima poput rimskih brojeva ili stiliziranih brojčanika”, otkrivaju istraživači. Jednako teškima pokazali su se i datumi, odnosno odgovori na pitanja tipa "koji će dan biti 153. dan u godini?". AI sustavi ispravno su očitavali satove u 38,7 %, a kalendare samo u 26,3 % slučajeva.
”Aritmetika je trivijalna za tradicionalna računala, ali ne i za velike jezične modele. Umjetna inteligencija ne pokreće matematičke algoritme, već predviđa izlaze na temelju obrazaca koje vidi u podacima za obuku”, objašnjavaju istraživači. To je tipični problem koji proizlazi iz treninga s ograničenim podacima, u ovom slučaju relativno rijetkim pojavama poput prijestupnih godina ili nejasnih kalendarskih izračuna.
