Sustavi umjetne inteligencije često se grade pomoću umjetnih neuronskih mreža (ANN) analognih onima u mozgu. I poput mozga, ANN-ovi se ponekad mogu zbuniti, bilo slučajno ili namjernim djelovanjem treće strane. Zamislite nešto poput optičke iluzije; moglo bi vam se činiti da gledate jednu stvar, a zapravo vidite sasvim drugu.

Promjena obrasca

Međutim, razlika između stvari koje zbunjuju ANN i stvari koje bi nas mogle zbuniti je u tome što neki vizualni unos može izgledati savršeno normalan, ili bi nam barem mogao biti razumljiv, ali ga ANN može protumačiti kao nešto potpuno drugačije.

Trivijalan primjer mogao bi biti sustav za klasifikaciju slika koji zamijeni mačku za psa, ali ozbiljniji primjer mogao bi biti automobil bez vozača koji zamijeni signal za zaustavljanje sa znakom za prednost. Ili medicinski dijagnostički sustavi i mnoge druge osjetljive aplikacije koje primaju podatke i informiraju ili čak donose odluke koje mogu utjecati na ljude.

Budući da unosi nisu nužno vizualni, nije uvijek lako na prvi pogled analizirati zašto je sustav možda pogriješio. Napadači koji pokušavaju poremetiti sustav temeljen na ANN-ovima mogu to iskoristiti, suptilno mijenjajući predviđeni obrazac unosa tako da će biti pogrešno protumačen, a sustav će se ponašati pogrešno, možda čak i problematično.

Novi način obrane

Neke obrambene tehnike za ovakve napade postoje, ali one imaju ograničenja. No sad su Jumpei Ukita i Kenichi Ohki s Odsjeka za fiziologiju Medicinskog fakulteta Sveučilišta u Tokiju inspiraciju potražili u radu ljudskog mozga te su osmislili i testirali novi način poboljšanja obrane od ANN-a, predstavljen u časopisu Neural Networks.

"Neuronske mreže obično se sastoje od slojeva virtualnih neurona. Prvi slojevi često će biti odgovorni za analizu ulaza identificiranjem elemenata koji odgovaraju određenom unosu", objašnjavaju istraživači. "Napadač bi mogao opskrbiti sliku artefaktima koji bi prevarili mrežu da je krivo klasificira. Tipična obrana za takav napad može biti namjerno unošenje malo šuma u ovaj prvi sloj. Međutim, ova metoda nije uvijek tako učinkovita i mislili smo da bismo mogli poboljšati stvar gledajući dalje od ulaznog sloja dalje u mrežu."

Dvije strane medalje

Proučavanje ljudskog mozga inspiriralo je Ukitu i Ohkija da šum dodaju i u dublje slojeve. 
Osmislili su hipotetsku metodu napada koji pogađa dublje od ulaznog sloja i izdržava otpornost mreže sa standardnom obranom od šuma na ulaznom sloju. Nakon što su pokazali opasnost od takvog napada, ubrizgali su nasumični šum u dublje skrivene slojeve mreže kako bi poboljšali njihovu prilagodljivost, a time i obrambenu sposobnost. 

Iako se nova ideja pokazala robusnom, istraživači je želi dalje razvijati kako bi bila još učinkovitija protiv očekivanih napada, ali i protiv drugih vrsta napada koje još nisu podvrgnuli testu.

"Napad i obrana dvije su strane iste medalje. To je utrka u naoružanju od koje nijedna strana neće odustati, stoga moramo neprestano ponavljati, poboljšavati i isprobavati nove ideje kako bismo zaštitili sustave koje koristimo svaki dan", kažu japanski istraživači.