Umjetna inteligencija sama povezuje audio i video bez pomoći ljudi

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju CSAIL razvili su UI tehniku strojnog učenja koja uči identificirati i opisati radnju u video isječku

Mladen Smrekar subota, 14. svibnja 2022. u 06:00

Ljudi promatraju svijet kombinirajući vid, sluh i razumijevanje jezika. Strojevi, s druge strane, tumače svijet putem podataka koje algoritmi mogu obraditi. Dakle, kad stroj "vidi" fotografiju, on je mora kodirati u podatke kako bi je klasificirao. Ovaj proces postaje složeniji kada podaci dolaze u više formata, poput videozapisa, audio isječaka i slika.

Strojno učenje

Glavni je izazov bio uskladiti različite modalitete. Ljudi s time nemaju problema; kad vidie auto i zatim čuju zvuk auta u prolazu, oni znaju da je to ista stvar. Ali u strojno učenju to nije baš tako jednostavno, objašnjavaju istraživači. 

Predloži okvir istraživača CSAIL-a
Predloži okvir istraživača CSAIL-a

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju (CSAIL) razvili su tehniku ​​umjetne inteligencije koja uči povezivati audio i video.

Na primjer, njihova metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku. Koristeći to znanje, ovaj model strojnog učenja može identificirati gdje se određena radnja odvija u videu i označiti je.

Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku
Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku

Ova tehnologija bi se jednog dana mogla upotrijebiti za pomoć robotima da uče o konceptima u svijetu kroz percepciju, kao što to čine ljudi, a istraživanje će biti predstavljeno na godišnjoj skupštini Udruge za računsku lingvistiku.

Klasifikacija i predviđanje

Istraživači su se usredotočili na učenje značajki, oblik strojnog učenja koji nastoji transformirati ulazne podatke kako bi se olakšala klasifikacija ili predviđanje.

Model je koristio tisuću riječi za označavanje vektora
Model je koristio tisuću riječi za označavanje vektora

Ovaj model uzima sirove podatke poput videozapisa i odgovarajućih tekstova i kodira ih izdvajanjem značajki ili zapažanja o objektima i radnjama u videu. Potom te podatkovne točke preslikava u mrežu. Model grupira slične podatke zajedno kao pojedinačne točke u mreži. Svaka od ovih točaka podataka, ili vektora, predstavljena je pojedinačnom riječju.

Budući da je model mogao koristiti samo 1000 riječi za označavanje vektora, korisnik može lakše vidjeti koje je riječi stroj koristio da zaključi kako su video i izgovorene riječi slične. To bi moglo olakšati primjenu modela u stvarnim situacijama u kojima je od vitalnog značaja da korisnici razumiju kako donosi odluke.



Posjetite našu Hi-Fi slušaonicu.

Ronis Velesajam

Rezervirajte termin u našoj Hi-Fi slušaoni Ronis Velesajam i iskusite zvuk najpoznatijih svjetskih Hi-Fi brendova.

Kupi

Gramofon nove generacije Grand Class.

Novo u ponudi

TECHNICS SL-1300G

Prekrasni novi Technics model SL-1300G je upravo ono što su ljubitelji vrhunskog zvuka s vinila očekivali - čisti dizajn bez DJ gadgeta, s najbitnijom tehnologijom posuđenom iz modela SL1200G, no od spomenutog SL1200G ipak osjetno povoljniji.

2.999 € Kupi

Premium stereo pojačalo s HEOS Built-in.

Akcija

MARANTZ Model 60N pojačalo

Integrirano mrežno pojacalo dizajnirano za iznimne HiFi performanse i sveobuhvatnu povezanost. Prenesite glazbu u visokoj rezoluciji kroz ugradeni HEOS® sustav, povežite svoj CD player ili gramofon i upotpunite svoj HiFi sustav zvucnicima po izboru ili opcionalno subwooferom.

1.299 € Kupi

Best Buy 8K receiver.

Akcija

DENON AVR-X2800H AV receiver

Kao 7.2 ili 5.2.2 sustav s Dolby Atmosom i DTS:X ispunjava prostorije srednje velicine zvukom vrhunske klase. HEOS® Built-in takoder omogucuje bežicno strujanje online glazbe i streaming na zvucnike koji podržavaju HEOS u drugim sobama.

699 € 799 € Akcija

Lagane i udobne čak i nakon sati slušanja.

Top izbor

JBL Tune 520BT slušalice

Slušalice JBL Tune 520BT emitiraju snažan JBL Pure Bass zvuk zahvaljujući najnovijoj Bluetooth 5.3 tehnologiji. Jednostavne za korištenje, ove slušalice pružaju do 57 sati čistog užitka i dodatna 3 sata baterije uz samo 5 minuta punjenja.

49 € Kupi

Izvanredan u iznimno širokom frekvencijskom rasponu.

Akcija

REVEL Concerta2 F35 zvučnici

Revel F35 je elegantni 2 2/2-stazni trostruki 5,25" samostojeci zvucnik, stražnji bas reflex, preporucena ulazna snaga 30-180W, osjetljivost 90dB, nominalna impedanca 6Ohma, frekvencijski raspon 35-20,000Hz, dimenzije Š.210mm x V.1002mm x D.310mm.

929 € 1.070 € Akcija

Subwoofer snage 300W.

Akcija

JBL Stage2 200P subwoofer

Ovaj subwoofer ima woofer niskih frekvencija od polyceluloze s visokim hodom od 10 inca (250 mm) s dvostrukim stražnjim podešenim portovima koji pružaju duboki, mocni, karakteristicni JBL bas. Kompletan skup kontrola omogucuje jednostavnu integraciju u sustav.

389 € 499 € Akcija

Dizajnirane za udobno slušanje.

Akcija

BOWERS & WILKINS Px7 S2e slušalice

Over-ear noise-canceling bežicne slušalice, posebno dizajnirane 40-mm pogonske jedinice, udoban dizajn za dugo slušanje, 24-bit DSP, aptX adaptive Bluetooth, 30 sati reprodukcije.

299 € 319 € Akcija

Tehnologija Post Filter Feedback (PFFB).

Novo u ponudi

Wiim AMP Pro streaming pojačalo

Opremljen najnovijom Wi-Fi 6E i BT 5.3 tehnologijom uz podršku za BT LE audio, pruža izuzetno stabilnu bežicnu povezanost za najzahtjevnije Hi-Res audio streaming. Premium 32-bitni/384kHz ES9038 Q2M SABRE DAC i TI TPA3255 Class-D pojacalo.

459 € Kupi

Novosti iz naše Hi-Fi slušaonice

Novosti

KEF LS60 Wireless

KEF LS60 Wireless je iznimno kompaktan i elegantan zvučnik koji već od prvih taktova s lakoćom pokazuje svoje velike mogućnosti i zvuk koji ne ostavlja prostora za bilo kakve dileme - jednostavno oduševljava.

Kupi