Prvi u svijetu, istraživači GrapheneX-UTS Centra za umjetnu inteligenciju usmjerenog na čovjeka na Tehnološkom sveučilištu u Sydneyu (UTS) razvili su prijenosni, neinvazivni sustav koji može dekodirati misli i pretvoriti ih u tekst. Rješenje je upravo prikazano na godišnjoj konferenciji NeurIPS na kojoj su prikazana vodeća svjetska istraživanja o umjetnoj inteligenciji i strojnom učenju.

DeWave model

Ova tehnologija bi, kažu, mogla pomoći u komunikaciji ljudima koji ne mogu govoriti zbog ozljede ili bolesti, uključujući moždani udar i paralizu. To bi također moglo omogućiti besprijekornu komunikaciju između ljudi i strojeva, poput rada bioničke ruke ili robota.

U samoj studiji sudionici su u tišini čitali odlomke teksta dok su nosili kapu koja je bilježila električnu moždanu aktivnost kroz njihovo tjeme pomoću elektroencefalograma (EEG). 

EEG val je segmentiran u različite jedinice koje hvataju specifične karakteristike i obrasce iz ljudskog mozga pomoću AI modela nazvanog DeWave, posebno razvijenog za ovu priliku. DeWave prevodi EEG signale u riječi i rečenice učeći iz velikih količina EEG podataka. 

Diskretne tehnike kodiranja

Riječ je o pionirskom poduhvatu u prevođenju sirovih EEG valova izravno u jezik. Ovaj proces uključuje diskretne tehnike kodiranja u proces prevođenja iz mozga u tekst i uvodi inovativan pristup neuralnom dekodiranju, objašnjavaju australski istraživači. Uz to, integracija s velikim jezičnim modelima otvara nove granice u neuroznanosti i umjetnoj inteligenciji.

Prijašnja tehnologija za prevođenje moždanih signala u jezik zahtijevala je ili ugradnju elektroda u mozak, kao što to čini Neuralink Elona Muska, ili skeniranje u MRI stroju koji je velik, skup i težak za korištenje u svakodnevnom životu. Ove metode imaju problema s transformacijom moždanih signala u segmente na razini riječi bez dodatnih pomagala kao što je praćenje očiju, što bitno ograničava praktičnu primjenu ovakvih sustava. Nova tehnologija može se koristiti s ili bez praćenja oka.

Glagoli bolji od imenica

U ovom slučaju EEG signali dolaze preko kapice na lubanji, a ne od elektroda ugrađenih u mozak, što znači znači da je signal u startu osjetljiviji na šum. Međutim, to se nije osjetilo na rezultatima.

"Model je vještiji u povezivanju glagola nego imenica. Međutim, kada su u pitanju imenice, vidjeli smo tendenciju prema sinonimnim parovima, a ne prema preciznim prijevodima, kao što je 'čovjek' umjesto 'autor'", otkrivaju autori koji vjeruju da znaju i zašto se to događa. "Kad mozak obrađuje ove riječi, semantički slične riječi mogu proizvesti slične obrasce moždanih valova. Unatoč izazovima, naš model daje smislene rezultate, usklađuje ključne riječi i formira slične strukture rečenica."

Nastavak istraživanja

Ocjena točnosti prijevoda trenutno iznosi oko 40% na BLEU-1. BLEU rezultat je broj između nule i jedan koji mjeri sličnost strojno prevedenog teksta sa skupom visokokvalitetnih referentnih prijevoda. Istraživači se nadaju da će se to poboljšati do razine koja se može usporediti s tradicionalnim programima prevođenja jezika ili prepoznavanja govora koja se kreće bliže 90%.

Ovo istraživanje nastavlja se na prethodnu UTS-ovu tehnologiju sučelja mozak-računalo koja koristi moždane valove za upravljanje četveronožnim robotom.