BLOOM: prvi višejezični model otvorenog koda ručno treniran

Tisuću uglavnom akademskih volontera iz cijelog svijeta udružilo se kako bi razbili dominaciju Big Techa u procesu obrade prirodnog jezika i smanjii nastalu štetu

Mladen Smrekar petak, 24. lipnja 2022. u 06:30

Velike tehnološke tvrtke sve više koriste modele koji prepoznaju i generiraju jezik u aplikacijama od chat robota do prevoditelja i mogu zvučati toliko jezivo ljudski da je Googleov inženjer nedavno ustvrdio da je tvrtkin UI model - razuman. Ali takvi modeli istovremeno pate od ozbiljnih praktičnih i etičkih nedostataka, kao što je papagajsko ponavljanje ljudskih pristranosti. 

Štetni učinci UI jezičnih sustava

Organizacija BigScience prošli je tjedan pokrenula ranu verziju modela koji bi, nadaju se njegovi tvorci, trebao smanjiti štetne učinke jezičnih sustava umjetne inteligencije. Osim što je riječ o alatu za istraživanje umjetne inteligencije, Njihov BLOOM bit će otvoren za niz istraživačkih namjena, poput vađenja informacija iz povijesnih tekstova i izrade klasifikacija u biologiji. 

Istraživači su osobno odabrali gotovo dvije trećine svog skupa podataka od 341 milijarde riječi iz 500 izvora
Istraživači su osobno odabrali gotovo dvije trećine svog skupa podataka od 341 milijarde riječi iz 500 izvora

“Smatramo da je pristup modelu bitan korak za odgovorno strojno učenje”, kaže Thomas Wolf, suosnivač tvrtke Hugging Face, domaćina platforme otvorenog koda za UI modele i skupove podataka na kojoj je radio međunarodni tim od oko tisuću volontera, uglavnom akademika. 

Strojevi za učenje

Veliki jezični modeli su algoritmi koji uče statističke povezanosti između milijardi riječi i izraza za obavljanje zadataka kao što su generiranje sažetaka, prevođenje, odgovaranje na pitanja i klasificiranje teksta.

Hugging Face, domaćin platforme otvorenog koda za UI modele i skupove podataka
Hugging Face, domaćin platforme otvorenog koda za UI modele i skupove podataka

Izgrađeni pomoću neuronske mreže, modeli se treniraju prilagođavanjem parametara, brisanjem riječi i uspoređivanjem njihovih predviđanja sa stvarnošću. BLOOM ima 176 milijardi parametara, u rangu s GPT-3, jednim od najpoznatijih takvih modela koji je kreirala neprofitna tvrtka OpenAI i licencirao Microsoft.

Iako su takvi modeli ponekad impresivni pa stvaraju poeziju ili točno odgovaraju na trivijalna pitanja, oni nemaju osjećaj za značenje jezika. Zbog toga oni mogu promovirati zlostavljanje, rasizam ili seksizam. 

Ručno odabrani tekstovi

Dok većinu modela na prirodnom jeziku grade mali interni timovi, BLOOM je djelo stotina istraživača, uglavnom akademika, uključujući etičare, pravne znanstvenike i filozofe, ali i neke zaposlenike Facebooka i Googlea. Kako bi trenirao BLOOM, BigScience je dobio besplatan pristup francuskom nacionalnom superračunalu Jean Zay.

BigScience je dobio besplatan pristup francuskom nacionalnom superračunalu Jean Zay
BigScience je dobio besplatan pristup francuskom nacionalnom superračunalu Jean Zay

Modeli su dobri onoliko koliko su dobri skupovi podataka na kojima se temelje pa je glavni zadatak bio odabir tekstova iz kojih bi model trebao učiti. Većina velikih modela uzima jezik izravno s interneta.

Umjesto toga, istraživači BigSciencea osobno su odabrali gotovo dvije trećine svog skupa podataka od 341 milijarde riječi iz 500 izvora. Među njima bio je i Semantic Scholar, tražilica za akademske publikacije s UI podrškom koja uključuje i članke časopisa Nature. 

Doprinos različitih kultura

Izvori su predloženi tijekom niza radionica u kojima su sudjelovale razne organizacije, poput afričke zajednice za obradu prirodnog jezika Masakhane, LatinX in AI ili Machine Learning Tokyo. Time se htjelo osigurati da u obuku modela bude uključeno što više ljudi različitih kultura.

Kako bi u potpunosti iskoristio dostupnu računalnu snagu, tim je zalihe podataka dopunio pomoću višejezičnog indeksiranja weba, filtriranog zbog kvalitete i s malo redakcije radi privatnosti.

Smanjili su i uobičajenu preveliku zastupljenost porno stranica koje često dovode do seksističkih asocijacija u modelu, ali bez isključivanja ključnih riječi koje bi posve uklonile sadržaj.

Stereotipne asocijacije

Dakako da ni BLOOM neće biti bez predrasuda, svjesni su njegovi tvorci, ali bi trebao poboljšati postojeće modele. Ono što je najvažnije, budući da su kod i skup podataka iza modela otvoreni, istraživači mogu pokušati razumjeti korijene štetnog ponašanja, što bi, pak, moglo poboljšati buduće verzije. 

Upotreba obvezuje istraživače da ne koriste model u zlonamjerne ili neprikladne svrhe poput stvaranja lažnih vijesti
Upotreba obvezuje istraživače da ne koriste model u zlonamjerne ili neprikladne svrhe poput stvaranja lažnih vijesti

Evaluacija modela razlikovat će se od uobičajenih mjerila. Istraživači žele proučiti različite metrike, poput toga koliko snažno stvara određene stereotipne asocijacije ili koliko su njegove sposobnosti pristrane prema određenom jeziku. Budući da je model obučen da bude višejezičan, mogao bi imati dublje razumijevanje jezika.

Besplatno korištenje

Potpuno obučeni BLOOM model bit će dostupan za preuzimanje istraživačima koji žele eksperimentirati s njim ili ga trenirati na novim podacima za određene aplikacije. Ali njegovo preuzimanje i pokretanje zahtijeva značajan hardverski kapacitet. Budući da je to dostupno tako malom broju istraživačkih timova,

Organizacije koje su sudjelovale u projektu
Organizacije koje su sudjelovale u projektu

BigScience će objaviti i hardverski manje zahtjevne verzije i izgraditi sustav koji će omogućiti dijeljenje modela na serverima, a Hugging Face će objaviti i web aplikaciju koja će svakome omogućiti da upita BLOOM bez preuzimanja. 

 

📢 Besplatna dostava

TOP!

APPLE iPad 9

A13 Bionic čip, kamera od 12 MP te brzi Wi-Fi ili mobilna mreža.

Od 2999 kn Kupi


Kompaktan zvučnik, gigantski zvuk.

KEF LS50 Meta

Najprecizniji, impresivan zvuk, 47 Hz - 45 kHz, Uni-Q driver, 85 dB, 8 Ohma, 40-100 W, Eisa Award.

9.749 kn Kupi

Soundbar i bežični subwoofer s ugrađenim HEOS-om

DENON DHT-S516H

HEOS, Bluetooth, AirPlay 2, Dolby Digital, Dolby Digital Plus, DTS dekodiranje, HDMI ulaz, ARC, Amazon Alexa, Google Assistant.

3.989 kn Kupi