Računalni vid OpenAI-a može se prevariti rukopisom
Istraživači smatraju da je njihovo otkriće bezopasno jer CLIP nije implementiran ni u jedan komercijalan proizvod
Istraživači laboratorija za strojno učenje OpenAI, otkrili su da se njihov posljednji sustav računalnog vida CLIP, može prevariti najobičnijim rukopisom.
Naime, kako bi se sustav zavarao, potrebno je samo napisati ime predmeta i zalijepiti ga na neki drugi, a istraživači OpenAI-a to nazivaju tipografskim napadima (typographic attacks).
„Korištenjem sposobnosti modela da robusno čita tekst, otkrivamo da čak i fotografije rukom napisanih tekstova često mogu zavarati model“, objavili su na svojem blogu. Navode da je ovakva vrsta zavaravanja slična kontradiktornim slikama (adversarial images) koje mogu u potpunosti zbuniti sustave računalnog vida. Tako se primjerice, Teslin autonomni sustav vožnje može prevariti postavljanjem specifičnih naljepnica po cesti.
Istraživači OpenAI-a, nisu zabrinuti oko otkrića u CLIP-u jer je, kako se navodi u tekstu, njegova sama priroda neobične arhitekture strojnog učenja stvorila slabost koja omogućuje tipografskom napadu da uspije. Naime, CLIP je namijenjen istraživanju načina na koje bi sustavi umjetne inteligencije (AI), mogli naučiti samostalno prepoznavati objekte trenirajući na ogromnim bazama podataka slika i tekstova.
Istraživači su nakon raznih testiranja otkrili takozvane „multimodalne neurone“, odnosno pojedinačne komponente u mreži strojnog učenja koje ne reagiraju samo na slike predmeta, već i na pridruženi tekst. Navodi se da će tako jednog dana, AI sustavi moći prepoznavati apstraktne koncepte, baš kao što to čini i ljudski mozak. Dok ljudi mogu razlikovati jabuku i neki predmet na kojem piše „jabuka“, sustav poput CLIP-a ne može, a OpenAI to naziva zabludom apstrakcije (fallacy of abstraction).
Također se navodi ako se preko objekta, u ovom primjeru motorne pile, stave dolarski znakovi, neuron u CLIP-u to prepoznaje kao kasicu prasicu. Istraživači su isto primijetili da je neuron za pojam „Bliski istok“ povezan s terorizmom, no takvu su vrstu pristranosti i očekivali kada je u pitanju sakupljanje podataka s interneta.
