Stanford uvodi učinkovitu i pravedniju evaluaciju AI jezičnih modela
Razvojnim programerima to bi trebalo omogućiti bolju dijagnostiku i točnije procjene performansi, a korisnicima pravednije i transparentnije procjene modela
Istraživači Sveučilišta Stanford predstavili su novi pristup evaluaciji umjetne inteligencije koji znatno smanjuje troškove i povećava pouzdanost pri procjeni napretka jezičnih modela. Njihov rad, objavljen u časopisu Computation and Language, rješava jedan od glavnih izazova: kako pravedno usporediti performanse sve brojnijih i naprednijih jezičnih modela bez enormnih troškova i dugotrajnih procesa.
Dosadašnja praksa podrazumijevala je provođenje modela kroz opsežne skupove pitanja – ponekad stotine tisuća njih – i pregled rezultata, što je zahtijevalo puno vremena i ljudskih resursa. Često se pribjegavalo manjim podskupovima pitanja, ali to može dovesti do iskrivljenih rezultata ako su izabrana lakša pitanja.
Stara metoda, novi pristup
Na Stanfordu su zato razvili sustav koji procjenjuje težinu svakog pitanja uz pomoć metoda iz standardiziranog testiranja (Item Response Theory). Ovakav pristup omogućuje automatsko generiranje i odabir pitanja prilagođenih težini, što ocjenjivanje čini ne samo pravednijim nego i do 80 % jeftinijim. Sustav je testiran na 22 različita skupa podataka i 172 modela, uključujući područja poput medicine, matematike i prava.
Ova je metoda, kažu, transparentna: prati se sigurnost modela kroz vrijeme, primjerice otpornost na manipulacije ili širenje dezinformacija, a automatizirano generiranje pitanja olakšava obnavljanje baza za testiranje i prepoznaje ponovljena pitanja. Razvojnim programerima to bi trebalo značiti bolju dijagnostiku i točnije procjene performansi, a korisnicima pravednije i transparentnije procjene modela, ističu istraživači.
