Umjetna inteligencija sama povezuje audio i video bez pomoći ljudi

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju CSAIL razvili su UI tehniku strojnog učenja koja uči identificirati i opisati radnju u video isječku

Mladen Smrekar subota, 14. svibnja 2022. u 06:00

Ljudi promatraju svijet kombinirajući vid, sluh i razumijevanje jezika. Strojevi, s druge strane, tumače svijet putem podataka koje algoritmi mogu obraditi. Dakle, kad stroj "vidi" fotografiju, on je mora kodirati u podatke kako bi je klasificirao. Ovaj proces postaje složeniji kada podaci dolaze u više formata, poput videozapisa, audio isječaka i slika.

Strojno učenje

Glavni je izazov bio uskladiti različite modalitete. Ljudi s time nemaju problema; kad vidie auto i zatim čuju zvuk auta u prolazu, oni znaju da je to ista stvar. Ali u strojno učenju to nije baš tako jednostavno, objašnjavaju istraživači. 

Predloži okvir istraživača CSAIL-a
Predloži okvir istraživača CSAIL-a

Istraživači Laboratorija za računalnu znanost i umjetnu inteligenciju (CSAIL) razvili su tehniku ​​umjetne inteligencije koja uči povezivati audio i video.

Na primjer, njihova metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku. Koristeći to znanje, ovaj model strojnog učenja može identificirati gdje se određena radnja odvija u videu i označiti je.

Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku
Metoda može naučiti da je plač bebe u videu povezan s izgovorenom riječi "plače" u audio isječku

Ova tehnologija bi se jednog dana mogla upotrijebiti za pomoć robotima da uče o konceptima u svijetu kroz percepciju, kao što to čine ljudi, a istraživanje će biti predstavljeno na godišnjoj skupštini Udruge za računsku lingvistiku.

Klasifikacija i predviđanje

Istraživači su se usredotočili na učenje značajki, oblik strojnog učenja koji nastoji transformirati ulazne podatke kako bi se olakšala klasifikacija ili predviđanje.

Model je koristio tisuću riječi za označavanje vektora
Model je koristio tisuću riječi za označavanje vektora

Ovaj model uzima sirove podatke poput videozapisa i odgovarajućih tekstova i kodira ih izdvajanjem značajki ili zapažanja o objektima i radnjama u videu. Potom te podatkovne točke preslikava u mrežu. Model grupira slične podatke zajedno kao pojedinačne točke u mreži. Svaka od ovih točaka podataka, ili vektora, predstavljena je pojedinačnom riječju.

Budući da je model mogao koristiti samo 1000 riječi za označavanje vektora, korisnik može lakše vidjeti koje je riječi stroj koristio da zaključi kako su video i izgovorene riječi slične. To bi moglo olakšati primjenu modela u stvarnim situacijama u kojima je od vitalnog značaja da korisnici razumiju kako donosi odluke.



Ronis Hi-Fi slušaonica na Velesajmu.

Rezervirajte svoj termin!

Želite doživjeti zvuk visoke kvalitete? Pridružite nam se u našoj Hi-Fi slušaoni Ronis Velesajam i iskusite zvuk najpoznatijih svjetskih Hi-Fi brendova.

Kupi

Simpatični par floorstandera sa solidnim basom.

Zvučnici ACOUSTIC ENERGY AE309 walnut (par)

2.5-sistemski zvucnici sa 130mm mid-bass jedinicama i 28mm aluminijskim visokotoncem, frekvencijski raspon 38Hz -30kHz, osjetljivost 89dB, vršni SBL 115dB, snaga 175W, crossover frekvencija 296Hz / 2.56kHz, impedancija 6 ohma.

1.349 € 1.499 € Akcija

Savršeno se uklapa u Sonos Home Sound System.

Bežični Hi-Fi zvučnik SONOS One Gen.2

Pametni zvučnik sa glasovnom kontrolom Google Assistant i Amazon Alexa. Bežično povezivanje sa Sonos Home Sound System zvučnicima za reprodukciju glazbe u svakoj sobi. Mat finiš, izdržljivi metalni grill, kontrole na dodir, otporan na vlagu. Wi-Fi. Airplay 2.

219 € 249 € Akcija

Prikladni za sobe male i srednje veličine.

Zvučnici ACOUSTIC ENERGY AE300 (par)

Slijedom nagradivanog AE100, nudi znacajan napredak u audio kvaliteti, materijalima i završnoj izvedbi. 2-sistemski zvucnici sa 130mm mid-bass jedinicama drivera, novim keramickim aluminijskim sandwich konusom i 28mm aluminijskim visokotoncem

764 € 849 € Akcija

Glazba s bilo kojeg uređaja ili aplikacije.

Bežični Hi-Fi zvučnici AUDIOENGINE HD4

HD4 kucni glazbeni sustav s Bluetooth aptX-HD. HD4 se može povezati žicano ili bežicno, tako da možete reproducirati svoju glazbu s racunala, telefona, tableta, cak i sa gramofona ili kazetofona.

399 € 549 € Akcija

Legendarni Marshall zvuk.

Prijenosni zvučnik MARSHALL Willen black&brass

Ovaj zvucnik vam donosi Marshall zvuk koji volite s jednim 2" full ranger driverom i dva pasivna radijatora. Savršen je za vanjsku upotrebu sa svojom IP67 ocjenom otpornosti na prašinu i vodu. Willen spaja kultni Marshall dizajn s robusnošcu koja vas izaziva da pomaknete njezine granice

90,50 € 115,00 € Akcija

Potpuno i sveobuhvatno uživanje u glazbi.

Stereo / Mrežni Receiver YAMAHA R-N800A

Yamaha R-N800A je HiFi prijemnik s vrhunskim zvukom i modernim dizajnom. Ima YPAO™ tehnologiju za podešavanje zvuka u prostoriji, MusicCast streaming, USB DAC, phono input, Enthernet, Headphone out. MP3, WMA, MPEG-4 AAC, WAV, FLAC, AIFF, DSD, AirPlay.

1.089 € Akcija

Slim i praktičan AV receiver.

AV receiver MARANTZ NR1510

Tanki 5.2-kanalni Ultra HD AV receiver sa ugradenom HEOS tehnologijom, snaga 50W po kanalu (8 ohma), 6 HDMI ulaza sa punom HDCP 2.3 podrškom, podrška za Dolby Vision, Hybrid Log-Gamma, eARC i ALLM, 4K/60 Hz full-rate pass-through, 24-bit/192-kHz, Wi-Fi.

539 € Kupi

Hibridno digitalno DAC pojačalo.

Digitalno pojačalo NAD C 338

D/A konverter, kontinuiranih 2 x 50W na 8 ili 4 Ohma, Hybrid Digital Amplification tehnologija,2 x opticki i 2 x koaksijalni digitalni ulazi, 2 x Analogni ulazi, Phono ulaz, subwoofer izlaz,Wi-Fi s mogucnošcu streaminga glazbenih servisa, internet radio, UPnP protokol,bluetooth ADP4 sa aptX

749 € Kupi

Ručno sastavljeni u britanskom Oxfordu.

Zvučnici FALCON ACOUSTICS LS3/5A Gold Badge cherry

Zvučnici Falcon Acoustic BBC LS3/5a, dvostazni standmount, bas-mid: Falcon B-110, bextrene 127 mm, visoki: Falcon T-27, mylar, 19 mm, zatvorena kutija, frekvencijski raspon 70 Hz – 20 kHz, osjetljivost 83 dB, impedancija 15 Ohma.

2.760 € 3.450 € Akcija

Gen2 Obsidian Folded Motion® visokotonac XT

Zvučnici MARTIN LOGAN Motion XT F100 White

Doživite iznimnu kvalitetu zvuka s MartinLoganovim Gen2 Folded Motion® XT visokotoncem koji sadrži tehnologiju Folded Motion® Waveguide neprimjetno integriranu u elegantan dizajn prednje pregrade.

6.209 € NOVO