Velike tehnološke tvrtke sve više koriste modele koji prepoznaju i generiraju jezik u aplikacijama od chat robota do prevoditelja i mogu zvučati toliko jezivo ljudski da je Googleov inženjer nedavno ustvrdio da je tvrtkin UI model - razuman. Ali takvi modeli istovremeno pate od ozbiljnih praktičnih i etičkih nedostataka, kao što je papagajsko ponavljanje ljudskih pristranosti. 

Štetni učinci UI jezičnih sustava

Organizacija BigScience prošli je tjedan pokrenula ranu verziju modela koji bi, nadaju se njegovi tvorci, trebao smanjiti štetne učinke jezičnih sustava umjetne inteligencije. Osim što je riječ o alatu za istraživanje umjetne inteligencije, Njihov BLOOM bit će otvoren za niz istraživačkih namjena, poput vađenja informacija iz povijesnih tekstova i izrade klasifikacija u biologiji. 

“Smatramo da je pristup modelu bitan korak za odgovorno strojno učenje”, kaže Thomas Wolf, suosnivač tvrtke Hugging Face, domaćina platforme otvorenog koda za UI modele i skupove podataka na kojoj je radio međunarodni tim od oko tisuću volontera, uglavnom akademika. 

Strojevi za učenje

Veliki jezični modeli su algoritmi koji uče statističke povezanosti između milijardi riječi i izraza za obavljanje zadataka kao što su generiranje sažetaka, prevođenje, odgovaranje na pitanja i klasificiranje teksta.

Izgrađeni pomoću neuronske mreže, modeli se treniraju prilagođavanjem parametara, brisanjem riječi i uspoređivanjem njihovih predviđanja sa stvarnošću. BLOOM ima 176 milijardi parametara, u rangu s GPT-3, jednim od najpoznatijih takvih modela koji je kreirala neprofitna tvrtka OpenAI i licencirao Microsoft.

Iako su takvi modeli ponekad impresivni pa stvaraju poeziju ili točno odgovaraju na trivijalna pitanja, oni nemaju osjećaj za značenje jezika. Zbog toga oni mogu promovirati zlostavljanje, rasizam ili seksizam. 

Ručno odabrani tekstovi

Dok većinu modela na prirodnom jeziku grade mali interni timovi, BLOOM je djelo stotina istraživača, uglavnom akademika, uključujući etičare, pravne znanstvenike i filozofe, ali i neke zaposlenike Facebooka i Googlea. Kako bi trenirao BLOOM, BigScience je dobio besplatan pristup francuskom nacionalnom superračunalu Jean Zay.

Modeli su dobri onoliko koliko su dobri skupovi podataka na kojima se temelje pa je glavni zadatak bio odabir tekstova iz kojih bi model trebao učiti. Većina velikih modela uzima jezik izravno s interneta.

Umjesto toga, istraživači BigSciencea osobno su odabrali gotovo dvije trećine svog skupa podataka od 341 milijarde riječi iz 500 izvora. Među njima bio je i Semantic Scholar, tražilica za akademske publikacije s UI podrškom koja uključuje i članke časopisa Nature. 

Doprinos različitih kultura

Izvori su predloženi tijekom niza radionica u kojima su sudjelovale razne organizacije, poput afričke zajednice za obradu prirodnog jezika Masakhane, LatinX in AI ili Machine Learning Tokyo. Time se htjelo osigurati da u obuku modela bude uključeno što više ljudi različitih kultura.

Kako bi u potpunosti iskoristio dostupnu računalnu snagu, tim je zalihe podataka dopunio pomoću višejezičnog indeksiranja weba, filtriranog zbog kvalitete i s malo redakcije radi privatnosti.

Smanjili su i uobičajenu preveliku zastupljenost porno stranica koje često dovode do seksističkih asocijacija u modelu, ali bez isključivanja ključnih riječi koje bi posve uklonile sadržaj.

Stereotipne asocijacije

Dakako da ni BLOOM neće biti bez predrasuda, svjesni su njegovi tvorci, ali bi trebao poboljšati postojeće modele. Ono što je najvažnije, budući da su kod i skup podataka iza modela otvoreni, istraživači mogu pokušati razumjeti korijene štetnog ponašanja, što bi, pak, moglo poboljšati buduće verzije. 

Evaluacija modela razlikovat će se od uobičajenih mjerila. Istraživači žele proučiti različite metrike, poput toga koliko snažno stvara određene stereotipne asocijacije ili koliko su njegove sposobnosti pristrane prema određenom jeziku. Budući da je model obučen da bude višejezičan, mogao bi imati dublje razumijevanje jezika.

Besplatno korištenje

Potpuno obučeni BLOOM model bit će dostupan za preuzimanje istraživačima koji žele eksperimentirati s njim ili ga trenirati na novim podacima za određene aplikacije. Ali njegovo preuzimanje i pokretanje zahtijeva značajan hardverski kapacitet. Budući da je to dostupno tako malom broju istraživačkih timova,

BigScience će objaviti i hardverski manje zahtjevne verzije i izgraditi sustav koji će omogućiti dijeljenje modela na serverima, a Hugging Face će objaviti i web aplikaciju koja će svakome omogućiti da upita BLOOM bez preuzimanja.