Grupa istraživača iz Kine i Singapura nedavno je objavila rad u kojem su detaljno opisali što se događa kad umjetna inteligencija igra "Red Dead Redemption II" (RDR2) i komentirali performanse AI-a u igrama.

GCC i CRADLE

Istraživači Pekinške akademije umjetne inteligencije (BAAI), Tehnološkog sveučilišta Nanyang u Singapuru i Škole računalnih znanosti pri Sveučilištu u Pekingu razradili su koncept Opće računalne kontrole (GCC) za AI i agentski okvir sa šest modula nazvan CRADLE koji služi kao sučelje između RDR2 i GPT-4 s vidom (GPT-4V).  

Projekt igranja RDR2, objavljen na arXivu, pruža uvid u to koliko je umjetna inteligencija napredovala u postizanju opće umjetne inteligencije (AGI). Istraživači su koristili AI pokretan OpenAI-jevim GPT-4V za interakciju s računalom, koristeći vizualne i audio znakove za inteligentno korištenje računala. Željeli su pokazati da umjetna inteligencija može biti uspješna u složenoj općoj kontroli računala (GCC).

Bogata okruženja

Istraživači su odabrali RDR2 jer ova igra, kažu, ima "složen sustav kontrole crne kutije koji utjelovljuje najzahtjevnije računalne zadatke i omogućuje nam da procijenimo granice performansi našeg okvira u takvim virtualnim okruženjima." Odnosno, ova igra nudi bogata okruženja i raznolike situacije u kojima se igrači mogu snaći.

Uz to, elementi korisničkog sučelja poput dijaloga, ikona ili uputa osiguravaju da se pozadinsko znanje ne uzima zdravo za gotovo, što je odlično za učenje umjetne inteligencije. Na kraju, istraživači kažu da kontrola igre putem miša i tipkovnice pruža bolju vježbu za GCC od većine drugih softvera.

Start od nule

Iako je usredotočen na RDR2, CRADLE je dizajniran da podrži širi spektar strateških igara i simulacija te raznih softverskih aplikacija. Istraživači su se nadali da će pokazati sposobnost CRADLE-a da nauči igru ​​od nule, bez pristupa API-ju, baš poput čovjeka. Zatim je AI agent trebao napredovati u igri navigacijom svijetom i dovršavanjem zadataka, slijedeći glavnu priču u RDR2.

Čini se, pokazuju testovi, da je CRADLE bio umjereno uspješan u igranju RDR2. Ključno otkriće bilo je da CRADDLE može dosljedno izvršiti sve zadatke u glavnoj priči. No, bilo je i iznimaka kao što su Protect Dutch koji uključuje brzu vatrenu bitku, Search House koji od agenta zahtijeva istraživanje složenog unutarnjeg okruženja i otvoreni zadatak s dugim horizontom.

Krivac je GPT4-V

Za neke ponovljene poteškoće okrivljen je GPT-4V. Konkretno, istraživači tvrde da je "sposobnost prostorno-vizualnog prepoznavanja GPT-4V nedovoljna za preciznu finu kontrolu."

Štoviše, kažu da se GPT-4V bori s konceptima specifičnim za domenu, poput jedinstvenih ikona unutar igre, s razumijevanjem mini-mapa, kao i s općim preprekama u okruženju igre.