Kada od ChatGPT-a ili sličnog sustava umjetne inteligencije tražite kratak odgovor, vjerojatno dobivate više netočnih informacija nego što mislite. No istraživanje je otkrilo je da jednostavna uputa "budi kratak" znatno povećava vjerojatnost pojave tzv. "halucinacija" – izmišljenih ili netočnih informacija u odgovorima.

Istraživači upozoravaju da ovaj problem pogađa sve vodeće modele umjetne inteligencije, uključujući OpenAI-jev GPT-4o, Mistral Large i Anthropic-ov Claude 3.7 Sonnet. Istraživanje je provela pariška tvrtka Giskard koja razvija sveobuhvatne testove za AI modele, a vijest je izvorno objavljena na tehnološkom portalu TechCrunch.

Što su "halucinacije" i zašto nastaju?

"Halucinacije" su pojava kada AI sustav iznosi tvrdnje s visokom dozom samopouzdanja, iako su one djelomično ili potpuno netočne. Radi se o problemu s kojim se bore svi razvijatelji AI sustava, a koji proizlazi iz same prirode velikih jezičnih modela i načina na koji funkcioniraju. AI chatbotovi ne "znaju" činjenice poput ljudi, već predviđaju statistički najvjerojatnije nastavke teksta na temelju podataka na kojima su trenirani. Zanimljivo je da neki novi modeli s poboljšanim sposobnostima rezoniranja, poput OpenAI-evog o3, pokazuju čak i veći postotak halucinacija od starijih verzija.

Zašto kraći odgovori sadrže više pogrešaka?

Istraživanje je pokazalo zanimljiv obrazac: kada AI nema dovoljno "prostora" za objašnjavanje, skloniji je davati netočne informacije. Na primjer, kad kažete "ukratko objasni zašto je Japan pobijedio u Drugom svjetskom ratu", model će često dati odgovor koji sadrži netočne povijesne činjenice, umjesto da prvo odbaci netočnu premisu (Japan nije pobijedio).

"Kada moraju birati između sažetosti i točnosti, modeli dosljedno odabiru biti kratki", objašnjavaju istraživači iz Giskarda. Opovrgavanje pogrešnih tvrdnji jednostavno zahtijeva više teksta nego što je dostupno u kratkom odgovoru.

Problem za korisnike i razvojne timove

Ovaj nalaz stvara pravu glavobolju razvojnim timovima i korisnicima AI sustava. S jedne strane, kraći odgovori su poželjna značajka – smanjuju potrošnju resursa, ubrzavaju interakciju i snižavaju troškove. S druge strane, sada znamo da takva optimizacija može značajno smanjiti pouzdanost informacija.

Za prosječnog korisnika ChatGPT-a ili sličnih alata, ovo znači da bi trebali biti oprezniji kada traže kratke odgovore, posebno o složenim ili kontroverznim temama. Dulji, detaljniji odgovori vjerojatno će sadržavati manje netočnosti.

Ostali zanimljivi nalazi

Istraživači iz Giskarda otkrili su još nekoliko intrigantnih obrazaca: AI modeli rjeđe ispravljaju pogrešne informacije kada ih korisnik iznese s visokom dozom samopouzdanja te modeli koje korisnici najviše vole nisu nužno oni koji daju najtočnije informacije Ovi nalazi ukazuju na širi problem – često postoji napetost između ugodnog korisničkog iskustva i faktičke točnosti. OpenAI se već susreo s ovim izazovom kada je njihov ChatGPT nedavno postao previše servilni sugovornik, što je rezultiralo manjom pouzdanošću informacija.

Koja je pouka?

Za korisnike AI chatbotova pouka je jasna – ako vam je točnost informacija važna, nemojte tražiti pretjerano sažete odgovore. Dajte umjetnoj inteligenciji prostora da objasni kontekst, upozori na nesigurnosti i pobije pogrešne pretpostavke. Za razvojne timove, ovo istraživanje naglašava potrebu za pažljivijim pristupom dizajnu sustava – optimizacija za korisničko iskustvo ne smije ići nauštrb faktičke točnosti, posebno u aplikacijama gdje je pouzdanost informacija ključna.