Stanford Computational Imaging Lab spojio je svoju stručnost u optici i umjetnoj inteligenciji, a njihova najnovija dostignuća detaljno su opisana u časopisu Science Advances i radu koji će u prosincu predstaviti na SIGGRAPH ASIA 2021.  

Ovo istraživanje suočava se s činjenicom da trenutni zasloni proširene i virtualne stvarnosti prikazuju samo 2D slike umjesto 3D, odnosno holografskih slika kakve vidimo u stvarnom svijetu.

"Oni nisu perceptivno realistični", objašnjava Gordon Wetzstein, izvanredni profesor elektrotehnike i voditelj Stanford Computational Imaging Laba u kojem tragaju za rješenjem kojim bi premostili ovaj jaz između simulacije i stvarnosti, stvarajući pritom vizualno privlačnije i oku ugodnije prikaze.

Premošćivanje simulacije i stvarnosti

Kvaliteta slike za postojeće holografske zaslone trenutno je ograničena pa su na Stanfordu pokušali otkriti kako bi slika na njemu mogla izgledati jednako dobro kao na LCD-u.

Jedan od problema je što je teško kontrolirati oblik svjetlosnih valova pri rezoluciji holograma. Drugi veliki izazov koji ometa stvaranje visokokvalitetnih holografskih prikaza je prevladavanje jaza između onoga što se događa u simulaciji i onoga kako bi ista scena izgledala u stvarnom okruženju.

Na Stanfordu su stoga razvili algoritme koristeći neuronske mreže, oblik umjetne inteligencije koja pokušava oponašati način na koji ljudski mozak uči informacije. Oni to zovu "neuralnom holografijom" (neural holography).

Njihov "neuralni holografski zaslon" (neural holographic display) uključuje obuku neuronske mreže kako bi oponašala fiziku stvarnog svijeta i postigla slike u realnom vremenu. Pritom su se koristili strategijom kalibracije "kamere u petlji" koja pruža gotovo trenutnu povratnu informaciju za informiranje o prilagodbama i poboljšanjima. Izradom algoritma i tehnike kalibracije, koji se pokreću u realnom vremenu s viđenom slikom, istraživači su uspjeli stvoriti realističnije vizuale s boljom bojom, kontrastom i jasnoćom.

Novi SIGGRAPH Asia dokument naglašava prvu primjenu njihovog sustava neuronske holografije u laboratoriju na 3D prizore. Ovaj sustav proizvodi visokokvalitetan, realističan prikaz scena koje sadrže vizualnu dubinu, čak i kada su dijelovi namjerno prikazani kao udaljeni ili izvan fokusa.

Rad objavljen u Science Advances koristi istu strategiju optimizacije kamere u petlji, uparen s algoritmom nadahnutim umjetnom inteligencijom. Tako su osigurali poboljšani sustav holografskih zaslona koji koriste djelomično koherentne izvore svjetlosti - LED i SLED. Ovi izvori svjetlosti privlačni su zbog svoje cijene, veličine i energetskih zahtjeva. Uz to, imaju potencijal izbjegavanja pjegavog izgleda slika koje proizvode sustavi koji se oslanjaju na koherentne izvore svjetlosti, poput lasera. 

No, karakteristike koje pomažu djelomično koherentnim izvornim sustavima da izbjegnu mrlje imaju tendenciju da rezultiraju mutnim slikama s nedostatkom kontrasta. Izradom algoritma specifičnog za fiziku djelomično koherentnih izvora svjetlosti, istraživači su proizveli prve visokokvalitetne holografske 2D i 3D slike bez mrlja pomoću LED-a i SLED-a.

Transformacijski potencijal

Na Stanfordu vjeruju da ovo spajanje novih tehnika umjetne inteligencije s virtualnom i proširenom stvarnošću ima budućnost. Iako se proširena virtualna stvarnost trenutno prvenstveno povezuje s igrama, njene su mogućnosti puno šire, na primjer u medicini. Proširena stvarnost može se koristiti za obuku i preklapanje medicinskih podataka iz CT skeniranja i MRI izravno na pacijente.

"Ove vrste tehnologija već se koriste za tisuće operacija godišnje", kaže Wetzstein koji u budućnosti zamišlja kirurške zahvate uz pomoć manjih, lakših i vizualno udobnijih naglavnih zaslona.