Samo 0,7 % objašnjive AI testirano na ljudima
Istraživači MIT-a pozivaju na rigoroznija testiranja: 'Ako dizajnirate za ljude, testirajte na njima"
Mnogi AI sustavi najobičnije su "crne kutije" u koju podaci ulaze, a rezultati izlaze bez razumijevanja procesa, upozoravaju istraživači Lincolnovog laboratorija na MIT-u. Kako bi pomogla ljudima da shvate što se događa, takozvana objašnjiva umjetna inteligencija (XAI) oslanja se na tehnike poput zaključivanja na temelju pravila, korištenja primjera i objašnjenja temeljenih na tekstu. Međutim, nije sasvim jasno koliko je ovih sustava, za koje se tvrdi da ih ljudi mogu objasniti, testirano na stvarnim ljudima.
Istraživači s Lincolna pročešljali su 18.254 XAI rada iz posljednjeg desetljeća s naglaskom na pitanje: "Od svih XAI radova koji tvrde da se mogu objasniti ljudima, koliko njih potvrđuje te tvrdnje empirijskim dokazima?“ Šokirali su se kad su otkrili da samo njih 253 uopće spominju ljudsku evaluaciju, a empirijskim testovima na ljudima potvrđene su tvrdnje u tek 126 radova ili mizernih 0,7 %.
"Očekivali smo 30-40 %, ne 0,7 %", komentirali su istraživači nalaze pregleda.
U tim su radovima, kažu, obilato korišteni labavi kriteriji poput "prirodnog jezika", bez dokaza da ih ljudi stvarno razumiju. Rezultati pokazuju da problem nije samo XAI; slično se događa i u medicini i sigurnosti, upozoravaju. Istraživači stoga pozivaju na rigoroznija testiranja: "Ako dizajnirate za ljude, testirajte na njima".
