MIT Media Lab ove je jeseni ugostio koncert neobičnog trija: na pozornici su zajedno muzicirali klavijaturist prog-metal benda Dream Theater Jordan Rudess, violinistica i pjevačica Camilla Bäckman te "jam_bot", model umjetne inteligencije koji je Rudess razvio s inženjerima MIT-a. Tijekom koncerta Rudess i Bäckman improvizirali su izmjenjujući pritom osmijehe i signale tijelom i očima; no interakcija s jam_botom sugerirala su drugačiju, dosad nepoznatu vrstu razmjene nadahnuća. Tijekom jednog dueta inspiriranog Bachom, Rudess je naizmjenično svirao nekoliko taktova i dopuštao umjetnoj inteligenciji da nastavi glazbu u sličnom baroknom stilu.

Kinetička skulptura

Rudess je hvaljeni glazbenik, u anketi časopisa Music Radar proglašen je čak najboljim klavijaturistom svih vremena, ali i online edukator i pokretač softverske tvrtke Wizdom Music.

Kinetička skulptura na pozornici fizičko je utjelovljenje jam_bota. Ona je tu da vizualizira ono što AI svira; budući da umjetna inteligencija nema fizički oblik, skulptura pokretima pokazuje odsvirane note, ali i najavljuje što slijedi, baš kao što svoje namjere živi glazbenik odaje svojim držanjem i gestama. A kako se umjetna inteligencija stalno predomišlja i ponovno planira i prilagođava onome što Jordan svira, skulptura radi široke pokrete kako bi pokazala promjenu u glazbenom smjeru.

Generativni AI modeli

Jam_bot se sastoji od niza velikih glazbenih generativnih AI modela sposobnih svirati i improvizirati u stvarnom vremenu, uživo reagirajući na Jordanove ulazne podatke. Ovi modeli, temeljeni na arhitekturi Music Transformer, trenirani su na velikoj količini simboličkih glazbenih podataka prije finog podešavanja na višestrukim improvizacijama u različitim stilovima i žanrovima. Modeli su zatim optimizirani za rad u stvarnom vremenu, a programeri MIT-ovog centra za umjetnost, znanost i tehnologiju CAST https://arts.mit.edu/cast/ razvili su nekoliko modaliteta interakcije kako bi Jordanu omogućili da dinamički pokreće modele.

Tako je, kažu, nastao reaktivan i svestran glazbeni agent osposobljen za, kako su je nazvali, "simbiotsku virtuoznost" između čovjeka i AI modela sposobnih zajedno improvizirati na pozornici. Razvoj modela strojnog učenja koji kanalizira Rudessov osebujni glazbeni stil i tehniku opisan je na stranicama MIT Pressa.  

Mapiranje glazbe

Publika je navikla vidjeti rasvjetu, grafiku i scenske elemente na mnogim koncertima pa su istraživači odlučili izraditi platformu koja će umjetnoj inteligenciji omogućiti da izgradi vlastiti odnos s publikom, objašnjavaju istraživači MIT-a. U samim počecima imala je oblik skulpturalne instalacije s osvjetljenjem koje se pomicalo svaki put kad bi AI promijenila akorde. Za nastup ideja je proširena pa je jam_bot materijaliziran u obliku mrežne ploče u obliku latica.