U strojnom učenju, razumijevanje zašto model donosi određene odluke često je jednako važno kao i jesu li te odluke točne. Iako postoje alati koji pomažu stručnjacima da razumiju razmišljanje modela, te metode često daju uvid samo u jednu po jednu odluku, a svaka se mora ručno evaluirati. 

Brza analiza

Istraživači s MIT-a i IBM Researcha stvorili metodu Shared Interest koja omogućuje korisniku da agregira, sortira i rangira pojedinačna objašnjenja kako bi brzo analizirao ponašanje modela strojnog učenja. Ova tehnika uključuje mjerljive metrike koje uspoređuju koliko dobro razmišljanje modela odgovara ljudskom.

Ova metoda mogla bi pomoći korisniku da lako otkrije trendove u donošenju odluka modela - na primjer, možda se model često zbuni zbog ometajućih, nebitnih značajki, poput pozadinskih objekata na fotografijama. Objedinjavanje ovih uvida moglo bi pomoći korisniku da brzo i kvantitativno utvrdi je li model pouzdan i spreman za primjenu u stvarnoj situaciji.

Popularne tehnike

Shared Interest koristi popularne tehnike koje pokazuju kako je model strojnog učenja donio određenu odluku. Ako model klasificira slike, metode istaknutosti (saliency methods) ističu područja slike koja su važna za model kada je donio odluku. Ta su područja vizualizirana kao toplinske karte (saliency map). Ako je model klasificirao sliku kao psa, a glava psa je istaknuta, to znači da su ti pikseli bili važni modelu kada je odlučio da slika sadrži psa.

Shared Interest funkcionira uspoređujući metode istaknutosti s podacima utemeljenim na istini. U skupu slikovnih podataka, podaci o temeljnoj istini obično su bilješke koje je stvorio čovjek i koje okružuju relevantne dijelove svake slike. U prethodnom primjeru kutija bi okruživala cijelog psa na fotografiji.

Prilikom ocjenjivanja modela klasifikacije slika, Shared Interest uspoređuje podatke koje je generirao model s podacima koje je zabilježio čovjek kako bi vidio koliko su usklađeni.

Osam kategorija

Odluke se razvrstavaju u osam kategorija, u rasponu od savršeno usklađenih kod kojih model ispravno predviđa, a istaknuto područje identično je polju koje je stvorio čovjek, do potpuno rastresenih kod kojih model netočno predviđa, a istaknuto polje ne poklapa se s ljudskim zapažanjima.

Ova tehnika funkcionira na sličan način kao i podaci temeljeni na tekstu, gdje su umjesto područja slike istaknute ključne riječi, a istraživači Shared Interest namjeravaju primijeniti na različite vrste podataka, posebno na tablične podatke koji se koriste u medicinskoj dokumentaciji.