Neuronske mreže za (malo) bolji video

Američki inženjeri uspjeli su poboljšati kvalitetu degradiranih videa pomoću dubinskog učenja

Mladen Smrekar srijeda, 22. svibnja 2024. u 14:09
BONES povećava kvalitetu za 4% do 13% u odnosu na druge najsuvremenije algoritme 📷 Jacob Chakareski i sur.
BONES povećava kvalitetu za 4% do 13% u odnosu na druge najsuvremenije algoritme Jacob Chakareski i sur.

Kako pomiriti zahtjeve za što većom količinom podataka s raspoloživom propusnošću mreže jedno je od ključnih pitanja informacijskog doba. Čini se da smo napokon stigli nadomak zadovoljavajućeg odgovora; barem tako sugerira istraživanje profesora Jacoba Chakareskog s Instituta za tehnologiju u New Jerseyju (NJIT) i kolega sa Sveučilišta Massachusetts-Amherst.

Neuronsko poboljšanje

Njihovo rješenje, nazvano Buffer Occupancy-based Neural-Enhanced Streaming ili skraćeno BONES, temelji se na zauzetosti međuspremnika i neuronskoj mreži koja radi na prijemnom hardveru, a bit će predstavljeno na konferenciji ACM Sigmetrics koja se ovo ljeto održava u Veneciji.

Model sustava BONES: U odnosu na tradicionalni ABR sustav koji isključivo raspoređuje resurse propusnosti s jednim međuspremnikom za preuzimanje, BONES uključuje dodatni međuspremnik i kontrolu protoka za upravljanje računalnim resursima  📷 Jacob Chakareski i sur.
Model sustava BONES: U odnosu na tradicionalni ABR sustav koji isključivo raspoređuje resurse propusnosti s jednim međuspremnikom za preuzimanje, BONES uključuje dodatni međuspremnik i kontrolu protoka za upravljanje računalnim resursima Jacob Chakareski i sur.

"Pristup visokokvalitetnom video sadržaju može biti zahtjevan zbog nedovoljne i nestabilne propusnosti mreže, a neuronsko poboljšanje pokazuje obećavajuće rezultate u poboljšanju kvalitete degradiranih videa kroz dubinsko učenje", objašnjavaju tvorci BONES-a koji su se pritom koristili matematičkom funkcijom Lyapunovljeve optimizacije.

Povećana kvaliteta

Sveobuhvatni eksperimentalni rezultati pokazuju da BONES povećava kvalitetu za 4% do 13% u odnosu na najsuvremenije algoritme, pokazujući svoj potencijal poboljšanja iskustva strujanja videa za korisnika. 

Ishod uzorka renderiranja prototipa sustava prije i poslije poboljšanja koje je omogućio BONES: poboljšanja uključuju jasnije teksture i oštrije rubove, posebno kod očiju, trave i kamenja 📷 Jacob Chakareski i sur.
Ishod uzorka renderiranja prototipa sustava prije i poslije poboljšanja koje je omogućio BONES: poboljšanja uključuju jasnije teksture i oštrije rubove, posebno kod očiju, trave i kamenja Jacob Chakareski i sur.

U izradi je i aplikacija za dokaz koncepta. Naime, istraživači NJIT-a i Sveučilišta Illinois Urbana-Champaign već neko vrijeme surađuju na projektu mješovite stvarnosti miVirtualSeat: Semantics-Aware Content Distribution for Immersive Meeting Environments koji se suočava s mrežnim izazovima kojima se bavi BONES. 

Hibridne telekonferencije

Spomenuiti miVirtualSeat trebao bi omogućiti "hibridnu" telekonferenciju, u kojoj su neki ljudi lokalno prisutni, na primjer oko stola u fizičkoj sobi za sastanke, dok virtualni sudionici prisustvuju sastanku na daljinu, s lokacija koje imaju ograničene računalne i mrežne resurse.

miVirtualSeat: impresivno iskustvo hibridnog sastanka 📷 Coordinated Science Laboratory
miVirtualSeat: impresivno iskustvo hibridnog sastanka Coordinated Science Laboratory

Lokalno prisutni nosit će naglavnike proširene stvarnosti kroz koje će se činiti da su i udaljeni ljudi u obliku volumetrijskih videa također lokalno prisutni i sjede u fizičkim stolcima oko lokalnog stola. Udaljeni sudionici vidjet će sobu za sastanke, s fizičkim sudionicima, prikazanu na njihovim vlastitim uređajima virtualne stvarnosti.