Umjetna inteligencija čita misli i pogađa koju glazbu slušate

UI može proizvesti glazbu koja zvuči slično melodijama koje su ljudi slušali dok su im skenirali mozak, pokazuje zajednička studija Googlea i Sveučilišta u Osaki

Mladen Smrekar petak, 4. kolovoza 2023. u 08:03
Istraživači su uvježbali UI program da pronađe veze između značajki glazbe i moždanih signala slušača 📷 nensuria
Istraživači su uvježbali UI program da pronađe veze između značajki glazbe i moždanih signala slušača nensuria

Istina je; ispitujući moždanu aktivnost osobe, umjetna inteligencija može proizvesti pjesmu koja odgovara žanru, ritmu, raspoloženju i instrumentaciji glazbe koju je osoba nedavno čula. Znanstvenici su prethodno "rekonstruirali" druge zvukove iz aktivnosti mozga, poput ljudskog govora, ptičjeg pjeva i njištanja konja, međutim nije poznato da je itko bio uspio stvoriti glazbu iz moždanih signala.

Vizualni prikaz MusicLM-a u kontekstu fMRI dekodiranja
Vizualni prikaz MusicLM-a u kontekstu fMRI dekodiranja

No, to je sad uspjelo istraživačima Sveučilišta u Osaki i stručnjacima Googlea zahvaljujući umjetnoj inteligenciji zvanoj Brain2Music. Ona koristi podatke o slikanju mozga za generiranje glazbe nalik kratkim isječcima pjesama koje je osoba slušala dok joj je skeniran mozak.  

Skeniranje mozga

Snimke mozga prikupljene su funkcionalnom magnetskom rezonancijom (fMRI) koja prati protok krvi bogate kisikom u mozak i otkriva najaktivnija područja. Skenirane snimke prikupljene su od sudionika koji su slušali 15 sekundi duge glazbene isječke različitih žanrova, uključujući blues, klasiku, country, disco, hip-hop, jazz i pop. 

Spektrogrami različitih glazbenih isječaka
Spektrogrami različitih glazbenih isječaka

Istraživači su prvo uvježbali UI program da pronađe veze između značajki glazbe, uključujući instrumente koji se koriste, žanr, ritam i raspoloženje te moždanih signala slušača. Glazbeno raspoloženje definirali su istraživači koristeći oznake kao što su sretno, tužno, nježno, uzbudljivo, ljutito ili zastrašujuće. UI je bio prilagođen svakoj osobi, povezujući njihove jedinstvene obrasce aktivnosti mozga i raznih glazbenih elemenata. 

Googleov MusicLM 

Obučen UI mogao je pretvoriti prethodno neviđene podatke iz slika mozga u oblik koji predstavlja glazbene elemente originalnih isječaka pjesama. Istraživači su zatim te informacije unijeli u model umjetne inteligencije zvan MusicLM koji je Google izvorno razvio za generiranje glazbe iz tekstualnih opisa.

Slaganje, u smislu ugođaja rekonstruirane glazbe i originalne glazbe, bilo je oko 60%, istaknuli su istraživači još nerecenziranog rada, postavljenog u bazu podataka arXiv. Žanr i instrumentarij u rekonstruiranoj i izvornoj glazbi podudarali su se znatno češće nego što bi se to slučajno moglo očekivati. Od svih žanrova, UI je najpreciznije razlikovao klasičnu glazbu.

Kako mozak obrađuje glazbu

Istraživači su otkrili da slušanje glazbe aktivira regije mozga u primarnom slušnom korteksu, gdje se signali iz ušiju tumače kao zvukovi. Čini se da je  za obradu značenja pjesama važna druga regija mozga, lateralni prefrontalni korteks, no to će tek trebati potvrditi daljnjim istraživanjem. Isto područje mozga uključeno je i u planiranje i rješavanje problema.

Područja u mozgu povezana s organizacijom i motivacijom (žuto) postaju aktivnija kada reperi slobodno stiliziraju ili improviziraju tekstove. Područja povezana sa samokontrolom (plavo) su prigušena 📷 Siyuan Liu
Područja u mozgu povezana s organizacijom i motivacijom (žuto) postaju aktivnija kada reperi slobodno stiliziraju ili improviziraju tekstove. Područja povezana sa samokontrolom (plavo) su prigušena Siyuan Liu

Zanimljivo je da je prošla studija, objavljena 2012. u časopisu Scientific Report, otkrila da se aktivnost različitih dijelova prefrontalnog korteksa dramatično mijenja kada reperi slobodno improviziraju svoje stihove.

Buduće studije mogle bi istražiti kako mozak obrađuje glazbu različitih žanrova ili raspoloženja, kažu istraživači koji bi htjeli istražiti može li umjetna inteligencija rekonstruirati glazbu koju ljudi samo zamišljaju u svojim glavama, umjesto da je stvarno slušaju.