Umjetna inteligencija sama povezuje audio i video bez pomoći ljudi

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju CSAIL razvili su UI tehniku strojnog učenja koja uči identificirati i opisati radnju u video isječku

Mladen Smrekar subota, 14. svibnja 2022. u 06:00

Ljudi promatraju svijet kombinirajući vid, sluh i razumijevanje jezika. Strojevi, s druge strane, tumače svijet putem podataka koje algoritmi mogu obraditi. Dakle, kad stroj "vidi" fotografiju, on je mora kodirati u podatke kako bi je klasificirao. Ovaj proces postaje složeniji kada podaci dolaze u više formata, poput videozapisa, audio isječaka i slika.

Strojno učenje

Glavni je izazov bio uskladiti različite modalitete. Ljudi s time nemaju problema; kad vidie auto i zatim čuju zvuk auta u prolazu, oni znaju da je to ista stvar. Ali u strojno učenju to nije baš tako jednostavno, objašnjavaju istraživači. 

Predloži okvir istraživača CSAIL-a
Predloži okvir istraživača CSAIL-a

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju (CSAIL) razvili su tehniku ​​umjetne inteligencije koja uči povezivati audio i video.

Na primjer, njihova metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku. Koristeći to znanje, ovaj model strojnog učenja može identificirati gdje se određena radnja odvija u videu i označiti je.

Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku
Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku

Ova tehnologija bi se jednog dana mogla upotrijebiti za pomoć robotima da uče o konceptima u svijetu kroz percepciju, kao što to čine ljudi, a istraživanje će biti predstavljeno na godišnjoj skupštini Udruge za računsku lingvistiku.

Klasifikacija i predviđanje

Istraživači su se usredotočili na učenje značajki, oblik strojnog učenja koji nastoji transformirati ulazne podatke kako bi se olakšala klasifikacija ili predviđanje.

Model je koristio tisuću riječi za označavanje vektora
Model je koristio tisuću riječi za označavanje vektora

Ovaj model uzima sirove podatke poput videozapisa i odgovarajućih tekstova i kodira ih izdvajanjem značajki ili zapažanja o objektima i radnjama u videu. Potom te podatkovne točke preslikava u mrežu. Model grupira slične podatke zajedno kao pojedinačne točke u mreži. Svaka od ovih točaka podataka, ili vektora, predstavljena je pojedinačnom riječju.

Budući da je model mogao koristiti samo 1000 riječi za označavanje vektora, korisnik može lakše vidjeti koje je riječi stroj koristio da zaključi kako su video i izgovorene riječi slične. To bi moglo olakšati primjenu modela u stvarnim situacijama u kojima je od vitalnog značaja da korisnici razumiju kako donosi odluke.

📢 Uštedi do 30%

TOP!

Logitech

Vrhunska Logitech periferija nezaobilazan je dodatak za tvoj radni stol.

Kupi

📢 Uštedi 800 kn

TOP!

HUAWEI MateView GT

27" monitor sa zakrivljenim zaslonom i velikom brzinom osvježavanja savršen je za učenje, igranje i rad.

2.199 kn 2.999 kn Kupi

📢 Besplatna dostava

TOP!

DELL

DELL Vostro 3510 s Core i7 procesorom, 16GB RAM-a te 15.6" IPS ekranom i vrhunski monitori.

Od 1499 kn Kupi


2-sistemski bass reflex zvučnici

KEF LS50

Najprecizniji, impresivan zvuk, Uni-Q 12. generacije s MAT nizom drajvera za iznimnu akustičnu točnost, 47 Hz - 45 kHz, 40-100 W, 8 Ω, 85 dB.

7.399 kn 9.749 kn Kupi

7.2-kanalni AV receiver

MARANTZ NR1711

Tanak dizajn, iznimne performanse, 8K Ultra HD, HEOS, 90W po kanalu, eARC HDMI, Bluetooth, Wi-Fi, AirPlay 2.

6.799 kn Kupi