Tim znanstvenika sa Sveučilišta u Edinburghu primijetio je da neki od popularnih AI alata današnjice i dalje muku muče s ljudima jednostavnim zadacima. Budući da oni "razmišljaju", uče i procesiraju informacije na potpuno drugačiji način od ljudi, tako im i neke stvari prilagođene ljudima jednostavno nisu jasne ili im je potrebno daleko više truda da ih savladaju. Dobar primjer za to je nešto što se uči u nižim razredima osnovne škole – gledanje na sat.

Više pogrešaka nego pogodaka

AI je danas u stanju uz pomoć računalnog vida, neuronskih mreža i vizualnih transformera prepoznavati sadržaje slika, oblike, razumijevati kontekst, no ovaj tim istraživača zaključio je da očitavanje vremena s analognog sata, ili pak čitanje kalendara, zahtijeva kombinaciju prostorne svjesnosti, konteksta i osnova matematike, što pak nemaju svi jednako razvijeno. Testirali su niz multimodalnih jezičnih modela, dakle onih koji kao ulazne informacije mogu uzeti i slike, pa im zadali zadatak da pročitaju vrijeme sa slike analognog sata ili datum s kalendara.

Varirali su dizajne i oblike satova, neki od njih su bili s rimskim brojevima, drugi bez kazaljki za sekunde i slično. U svim tim promjenjivim uvjetima AI alati snalazili su se loše do nikako: u najboljem slučaju analogni sat očitan je točno u manje od četvrtine slučajeva. Greške su bile daleko češće u slučaju rimskih brojeva i stiliziranih kazaljki. U slučaju čitanja kalendara snašli su se malo bolje, ali su i najbolji modeli pogrešno očitali ili izračunali datume u oko jedne petine slučajeva.

Izgubljeni u vremenu

"Današnja istraživanja umjetne inteligencije često se fokusiraju na složene zadatke zaključivanja, ali ironično, mnogi se sustavi još uvijek muče kada su u pitanju jednostavniji, svakodnevni zadaci", poruka je istraživača, koji zaključuju da bi pronađeni nedostaci u AI modelima morali biti ispravljeni. Naime, to je ključno kako bi se oni mogli integrirati u sustave za pomoć ljudima u stvarnom svijetu i stvarnom vremenu, primjerice kod izrade rasporeda zadataka, automatizacije ili pomoći slabovidnim osobama.

Rad "Izgubljeni u vremenu: Izazovi razumijevanja satova i kalendara kod multimodalnih velikih jezičnih modela" dostupan je na servisu arXiv.