Ako vas taksist poveze prečacem, možda ćete brže stići do odredišta. Ali ako model strojnog učenja krene kraćim putem, stvari bi mogle krenuti po zlu. U strojnom učenju to se događa kada se model oslanja na jednostavnu karakteristiku skupa podataka za donošenje odluke, umjesto da uči pravu bit podataka, a to može dovesti do netočnih predviđanja. Na primjer, model bi mogao naučiti identificirati slike krava fokusirajući se na zelenu travu na fotografijama, umjesto na složenije oblike i uzorke krava.

Problem prečaca

Nova studija istraživača s MIT-a istražuje problem prečaca u strojnom učenju i predlaže rješenje koje može spriječiti prečace prisiljavajući model da u donošenju odluka koristi više podataka.

Uklanjanjem jednostavnijih karakteristika na koje se model fokusira, istraživači ga prisiljavaju da se usredotoči na složenije značajke podataka koje nije razmatrao. Tražeći od modela da isti zadatak riješi na dva načina - jednom koristeći jednostavnije značajke, a zatim i složene značajke koje je naučio identificirati - smanjuje se sklonost rješenjima prečaca i povećavaju performanse modela.

Jedna potencijalna primjena ovog rada je poboljšanje učinkovitosti modela strojnog učenja koji se koriste za prepoznavanje bolesti na medicinskim slikama. Rješenja prečaca u ovom kontekstu mogu dovesti do lažnih dijagnoza i imati opasne implikacije za pacijente.

"Još uvijek je teško reći zašto duboke mreže donose odluke koje donose, a posebno na koje dijelove podataka se te mreže odlučuju usredotočiti prilikom donošenja odluke. Ako možemo detaljnije razumjeti kako prečaci funkcioniraju, možemo ići još dalje kako bismo odgovorili na neka temeljna pitanja, važna ljudima koji pokušavaju implementirati te mreže", kaže glavni autor Joshua Robinson, doktorand u Laboratoriju za računalnu znanost i umjetnu inteligenciju (CSAIL).

Kontrastno učenje

Istraživači su svoje istraživanje usredotočili na kontrastno učenje (contrastive learning), moćan oblik samonadziranog strojnog učenja. Samonadzirani model učenja uči korisne prikaze podataka koji se koriste kao ulazni podaci za različite zadatke, poput klasifikacije slika. Ali ako model koristi prečace i ne uspije uhvatiti važne informacije, ni ovi zadaci neće moći koristiti te informacije.

Na primjer, ako je samonadzirani model učenja osposobljen da klasificira upalu pluća na rendgenskim snimkama iz brojnih bolnica, ali uči predviđati na temelju oznake koja identificira bolnicu iz koje je skeniranje došlo, model neće raditi dobro kada dobije podatke iz nove bolnice.

Za modele kontrastnog učenja, algoritam je osposobljen da razlikuje parove sličnih ulaza i parova različitih ulaza. Ovaj proces kodira bogate i složene podatke, poput slika, na način koji kontrastni model učenja može interpretirati.

Žrtve rješenja prečaca

Istraživači su testirali kontrastne kodere za učenje s nizom slika i otkrili da tijekom ovog postupka obuke i oni postaju žrtvom rješenja prečaca. Koderi se obično usredotočuju na najjednostavnije značajke slike kako bi odlučili koji su parovi ulaza slični, a koji različiti. Idealno bi bilo da se koder pri donošenju odluke fokusira na sve korisne karakteristike podataka. 

Istraživači su stoga otežali razlikovanje sličnih i nesličnih parova, zbog čega je sustav bio prisiljen naučiti više smislenih informacija u podacima kako bi riješio zadatak. Od kodera su tražili da razlikuje parove na izvorni način, koristeći jednostavnije značajke, ali i nakon uklanjanja već naučenih informacija. 

Njihova metoda, implicitna modifikacija značajke (implicit feature modification), adaptivno modificira uzorke kako bi uklonila jednostavnije značajke koje koder koristi za razlikovanje parova. Tehnika se ne oslanja na ljudski unos, što je važno jer skupovi podataka u stvarnom svijetu mogu imati stotine različitih značajki koje se mogu kombinirati na složene načine.

Metoda je testirana na slikama vozila i uzorcima iz medicinske baze podataka o kroničnoj opstruktivnoj plućnoj bolesti (KOPB) i u oba slučaja došlo je do simultanih poboljšanja svih značajki. Istraživači sad nastavljaju usavršavati metodu i njenu primjenu na druge vrste samonadziranog učenja.