Uređaj za čitanje misli može ispričati priču koju zamišljate

Teksaški znanstvenici razvili su neinvazivni jezični dekoder, u stvari uređaj za čitanje misli, koji može rekonstruirati percipirani ili zamišljeni govor iz funkcionalnih MRI podataka

Mladen Smrekar utorak, 2. svibnja 2023. u 20:05
Neinvazivni jezični dekoder opisan je u najnovijem broju časopisa Nature Neuroscience
Neinvazivni jezični dekoder opisan je u najnovijem broju časopisa Nature Neuroscience

Semantički dekoderi nisu novost, ali je njihova upotreba bila prilično ograničena. Neki prethodni dekoderi primjenjivani su na neuralnu aktivnost snimljenu nakon invazivne neurokirurgije, dok su drugi koristili neinvazivne snimke aktivnosti mozga što ih je pak ograničavalo na dekodiranje pojedinačnih riječi ili kratkih fraza. Na kraju svih tih eksperimenata ostalo bi nejasno mogu li semantički dekoderi uopće raditi s kontinuiranim, prirodnim jezikom.

Dekoder, treniran na percipiranom govoru, može predvidjeti značenje zamišljene priče
Dekoder, treniran na percipiranom govoru, može predvidjeti značenje zamišljene priče

No sad su Alexander Huth i kolege sa Teksaškog sveučilišta u Austinu (UT) razvili semantički dekoder koji rekonstruira kontinuirani jezik iz moždanih uzoraka dobivenih iz funkcionalnih MRI (fMRI) podataka.

Model za preslikavanje moždane aktivnosti

Istraživači su zabilježili fMRI podatke tri sudionika dok su slušali 16 sati narativa kako bi osposobili model za preslikavanje moždane aktivnosti i semantičkih značajki koje su uhvatile značenja određenih fraza i povezanih moždanih odgovora. 

Ova slika prikazuje predviđanja dekodera iz snimaka mozga prikupljenih dok je korisnik slušao četiri priče. Primjeri segmenata ručno su odabrani i označeni kako bi se pokazalo tipično ponašanje dekodera. Dekoder točno reproducira neke riječi i izraze i hvata srž mnogih drugih 📷 UT
Ova slika prikazuje predviđanja dekodera iz snimaka mozga prikupljenih dok je korisnik slušao četiri priče. Primjeri segmenata ručno su odabrani i označeni kako bi se pokazalo tipično ponašanje dekodera. Dekoder točno reproducira neke riječi i izraze i hvata srž mnogih drugih UT

Ovaj model dekodera zatim je testiran na reakcijama mozga sudionika dok su slušali nove priče koje nisu korištene u izvornom skupu podataka za obuku. Koristeći ovu moždanu aktivnost, dekoder je mogao generirati sekvence riječi koje su uhvatile značenja novih priča, a također je generirao neke točne riječi i fraze iz priča.

Predviđanje zamišljene priče

Dekoder, treniran na percipiranom govoru, mogao je predvidjeti značenje zamišljene priče sudionika ili sadržaj gledanog nijemog filma iz podataka fMRI. A kad bi sudionici testiranja aktivno slušali priču, ignorirajući pritom drugu priču koju su im puštali  istovremeno, dekoder je mogao identificirati značenje priče koja se u trom trenutku aktivno sluša.

Prikupljanje podataka o moždanoj aktivnosti u Biomedicinskom slikovnom centru Teksaškog sveučilišta: semantički dekoder uvježban je na desecima sati podataka o moždanoj aktivnosti sudionika, prikupljenih fMRI skenerom 📷 Nolan Zunk / UT
Prikupljanje podataka o moždanoj aktivnosti u Biomedicinskom slikovnom centru Teksaškog sveučilišta: semantički dekoder uvježban je na desecima sati podataka o moždanoj aktivnosti sudionika, prikupljenih fMRI skenerom Nolan Zunk / UT

Analiza privatnosti je pokazala da dekoder, kad je treniran na fMRI podacima jednog sudionika, ne predviđa dobro semantički sadržaj iz podataka drugog sudionika.

Autori istraživanja, objavljenog u časopisu Nature Neuroscience, zaključuju da je suradnja ključna za obuku i primjenu ovih neinvazivnih dekodera i napominju da će se, ovisno o budućem razvoju ove tehnologije, trebati ozbiljno poraditi na zaštiti mentalne privatnosti korisnika.