Istraživači s američkog Sveučilišta George Washington predali su još nerecenziranu fizikalnu studiju koja navodno pruža uvid u "crnu kutiju" velikih jezičnih modela analizirajući njihov temeljni mehanizam – proces pažnje (Attention) – kroz prizmu fizike. Rad se nalazi na stranicama Arhiv.org - "Capturing AI's Attention: Physics of Repetition, Hallucination, Bias and Beyond“.

U svom radu kojeg u skraćenom obliku prenosi Science Blog tvrde da se ponašanje AI-a može objasniti „gibanjem dva zvrka koja rade zajedno“. Ovaj hamiltonijanski sustav s dva tijela trebao bi objasniti zašto AI sustavi pokazuju čudnu sklonost izmišljanju totalnih nebuloza, što znaju svi koji su ikada koristili ChatGPT, Gemini ili bilo koji drugi model umjetne inteligencije.

Navodno problemi ponavljajućeg teksta ili izmišljanja („haluciniranje“) proizlaze iz fundamentalnih svojstava načina na koji AI obrađuje informacije, a ne samo iz nedostataka u podacima za treniranje.

Način na koji AI modeli predviđaju sljedeću riječ nalikuje načinu na koji fizičari izračunavaju vjerojatnosti u statističkim analizama čestica koje međusobno reagiraju. Ovaj konceptualni proboj pomaže objasniti zašto se ponekad pojavljuje štetan sadržaj "kada određeni skupovi 'loših' riječi duboko zakopanih u vokabularu privremeno se nađu s najvećom projekcijom" na ono što sustav generira.

Posljedica ovoga je da relativno mala pristranost u treniranju modela može stvoriti dramatične promjene u izlaznim podacima. To objašnjava zašto čak i snažno zaštićeni modeli mogu proizvesti problematičan sadržaj.

Ova analiza nadilazi trenutne pristupe interpretaciji AI-ja koji uključuju složene analize cjelokupnih neuronskih mreža. Umjesto toga, oni kreću od osnovnih principa kako bi izgradili matematički okvir koji precizno predviđa kada i zašto AI izlazi krenu po zlu.

Rad sugerira da se trenutni AI sustavi oslanjaju na interakcije dva tijela između tokena (riječi), slično kako se složeni fizički sustavi često mogu aproksimirati jednostavnijim opisima. Rad spekulira da bi dodavanje interakcija tri tijela moglo učiniti AI sustave boljima – vodeći do sljedeće generacije moćnijih modela.

Ako se ovo istraživanje potvrdi kao točno, moglo bi značiti novo doba za interdisciplinarni pristup rješavanju računalnih problema, u ovom slučaju analiziranje fizikalnih principa u računalnim problemima kakvo do sada nije bilo uobičajeno.