Istraživanje objavljeno u časopisu Nature Communications Biology korak je k razvoju moždanog implantata koji bi mogao pomoći osobama s gubitkom sluha.

Moždani implantati za računalno generiranje

Jedan od glavnih istraživača, profesor na Fakultetu inženjerstva Sveučilišta Brown i znanstveni suradnik u Institutu za mozak, Arto Nurmikko, opisao je kako je osmišljen proces rekonstrukcije riječi:  "U sekundarnom slušnom korteksu, dijelu mozga odgovornom za obradu percipiranog zvuka, registrirali smo obrasce električne aktivnosti neurona koji su povezani s procesom slušanja govora. Potom smo iz tih neuronskih obrazaca uspjeli računalno sintetizirati i s velikom vjernošću rekonstruirati taj govor.“

Ukratko, riječ je o jednostavnoj ideji koja je provedena kompliciranim inženjerskim i neurokirurškim zahvatima u suradnji s umjetnom inteligencijom upregnutom u algoritam deep-learning računala.

Posrijedi je postupak računalnog generiranja (sintetiziranja) govora na osnovu algoritamskog prepoznavanja električnih obrazaca koje izgovorene riječi stvaraju u neuronima moždanog centra za sluh. Ti obrasci se snimaju mikroelektrodama kirurški implantiranim u moždano tkivo (vidi ilustraciju uz tekst, kao i snimku keynote predavanja koje je upravo o toj temi održano na nedavnoj tech-konferenciji Bug Future Show 2020).

Ono što posebice fascinira jest činjenica što je neuronske impulse izazvane zvukom ljudskog govora moguće "snimiti" u majmunskom moždanom centru za sluh (a da majmun uopće ne razumije što sluša), te ih na osnovu te snimke ponovo sintetizirati u računalni govor razumljiv čovjeku, pri čemu majmunski centar za sluh služi samo kao prijemnik za „prikupljanje“ zvuka i biološki stroj za elektrokodiranje govora.

Razvrstati, razlikovati, razumjeti

Cilj takvih istraživanja je što bolje shvatiti kako se u mozgu primata obrađuje zvuk, što bi u konačnici moglo pomoći izradi novih sustava neuronske protetike, strojno-računalnog nadomještanja izgubljene funkcije sluha. Jer, moždani centri uključeni u obradu zvuka su kod primata i kod ljudi vrlo slični, a funkcioniraju po principu obrade u tri osnovna koraka: razvrstavanje - razlikovanje - razumijevanje.

Prva razina obrade (događa se u primarnom slušnom korteksu), razvrstava zvukove prema atributima kao što su visina i glasnoća. Signali se potom prosljeđuju u sekundarni slušni korteks, gdje se zvukovi razvrstavaju po fonemima, najjednostavnijim značajkama koje nam omogućuju razlikovanje jedne riječi od druge. Tek nakon toga se „fonemizirane“ informacije šalju u tercijarne centre mozga na obradu koja omogućuje razumijevanje govora.

Istraživači su obrađivali snimke mikroelektričnih impulsa majmunskih neurona koristeći računalne algoritme posebno razvijene za prepoznavanje neuronskih obrazaca povezanih s određenim riječima. Istraživanje je pokazalo da su zabilježeni neuronski podaci proizveli rekonstrukcije visoke vjernosti, dakle posve točnu i jasnu računalnu reprodukciju izgovorenih riječi.

Ponavljajuće neuronske mreže za neuralne implantate

Jedan od ciljeva studije bio je i uzajamno uspoređivanje nekolicine algoritama za dekodiranje „snimljenih“ majmunskih moždanih impulsa, a najvjernija rekonstrukcija govora postignuta je korištenjem ponavljajućih neuronskih mreža (recurrent neural networks, RNN), vrste algoritma strojnog učenja često korištene u računalnim prijevodima jezika.

Znanstveni suradnik Sveučilišta, Christopher Heelan, smatra da uspješnost RNN-a proizlazi iz njegove izrazite fleksibilnosti, koja je bitna za proces dekodiranja složenih slušnih informacija. "Tradicionalniji algoritmi za neuronsko dekodiranje unaprijed pretpostavljaju kako mozak kodira informacije, a to im ograničava sposobnost remodeliranja neuronskih podataka kojima barataju", kaže Heelan, koji je autor softverskog alata korištenog u ovoj studiji. "Nasuprot tome, neuronske mreže znatno manje koriste unaprijed formirane pretpostavke, a više se oslanjaju na proces samo-učenja korištenjem kombiniranja složenih odnosa između primljenih podataka i zadatka kojeg trebaju obaviti."

U konačnici, ova bi vrsta istraživanja mogla pomoći u izradi neuralnih slušnih implantata. "Ambicija nam je da dizajniramo malene neuroračunalne sustave koji zaobilaze veći dio inženjerske konstrukcije klasično proizvedenih slušnih aparata, nego zvuk vode izravno u mozak", objašnjava Nurmikko. "Mikroelektrode koje sada koristimo za snimanje neuronske aktivnosti, jednoga će se dana moći koristiti da u slušne centre u mozgu isporučuju mikroelektrične impulse koji će ljudima oštećenog sluha izravno u mozgu stvarati percepciju zvuka i govora."

​ ^{Igor „Doc“ Berecki je pedijatar-intenzivist na Odjelu intenzivnog liječenja djece Klinike za pedijatriju KBC Osijek. Od posla se opušta antistresnim aktivnostima: od pisanja svojevremeno popularnih tekstova i ilustracija u tiskanom izdanju časopisa BUG, crtkanja grafika i dizajna, zbrinjavanja pasa i mačaka, te fejsbučkog blogiranja o craft-pivima, životnim neistinama i medicinskim trivijama, sve do pasioniranog kuhanja posve probavljivih jela i sviranja slabo probavljivog bluesa.}