Will DePue iz OpenAI-ja, tamo zadužen za rješavanje problema "slopa" koji stvara umjetna inteligencija, podijelio je zanimljivu priču iz razvoja jezičnih modela, s ciljem da javnosti približi koliko je zapravo komplicirano upravljati njima u fazi "post-treninga". Probleme s neočekivanim ponašanjem i promjenom karaktera jezičnih modela već smo vidjeli u nedavnom slučaju "ulizivanja", a DePue je, potaknut time, prepričao jednu nešto stariju zgodu – tada je, naime, ChatGPT svojevoljno prestao komunicirati na hrvatskom jeziku.

Naljutili smo jezični model

Radilo se, kaže, o jednom od starijih GPT modela, koji je samo jednoga tjedna počeo odbijati davati odgovore na hrvatskom, a da nitko u OpenAI-ju nije mogao pronaći razlog za to. Nakon istraživanja pokazalo se što je dovelo do njegove pretjerane (uvrijeđene?) reakcije. Naime, korisnici koji su tražili odgovore na hrvatskom jeziku mnogo su češće davali negativnu povratnu informaciju na takve odgovore (palac dolje). Uvidjevši da njegovi odgovori na hrvatskom očito ne zadovoljavaju visoke standarde Hrvata, model je jednostavno bio – odustao od našeg jezika.

"Razumljiva je konfuzija oko novog ChatGPT-a i njegove osobnosti. Da razjasnim: radimo na ostvarenju ravnoteže kako bismo optimizirali model za one stvari koje ljudi zaista vole (kreativnost, stil pisanja, pojašnjenja, dobro formatiranje, inteligencija) s onim stvarima koje ljudi možda i ne vole (crtice kao poveznice, verzal i kurziv, opušten izričaj), kao i s onima koje su očite pogreške u optimizaciji (ulizivanje, pretjerana sigurnost, ne davanje kritičnih odgovora)", pojašnjava De Pue.

Podijelio je i grafikon normalne distribucije koji otprilike oslikava situaciju evaluacije odgovora i njezine teritorijalne razlike. Prikaz je načinjen na šaljiv način, ali dobro opisuje situaciju u kojoj su Amerikanci skloni pretjerivanju i davanju najbolje ocjene svemu što je čak malo ispodprosječno ili bolje od toga. S druge strane, na istoku Europe korisnici će "smećem" proglasiti sve što nije zaista izvrsno. Pretjerana kritičnost ljudi iz Hrvatske, očito, jednom je utjecala na ponašanje GPT jezičnog modela, ali je OpenAI-ju pomogla u njegovom daljnjem dotjerivanju.