Umjetna inteligencija 2D slike pretvara u 3D svijet

Algoritam umjetne inteligencije može transformirati fotografije u trodimenzionalni svijet visoke razlučivosti koji se može istražiti, s potencijalnim implikacijama na filmske efekte i virtualnu stvarnost

Mladen Smrekar utorak, 26. listopada 2021. u 14:45

Napajanjem neuronske mreže izborom slika scene i grubim 3D modelom scene stvorenim automatski korištenjem standardnog softvera COLMAP, ona može točno vizualizirati kako bi scena izgledala iz bilo kojeg gledišta. No, neuronska mreža koju su razvili na Sveučilištu Erlangen-Nürnberg razlikuje se od prethodnih sustava jer je sposobna izdvojiti fizička svojstva iz nepokretnih slika.

3D svijet od dvije slike

"Možemo promijeniti poziciju kamere i stoga dobiti novi pogled na objekt", kaže voditelj projekta Darius Rückert. Ovaj sustav bi tehnički mogao stvoriti 3D svijet koji se može istražiti od samo dvije slike, ali ne bi bio baš precizan. 

Neuronska mreža njemačkih istraživača može izdvojiti fizička svojstva iz nepokretnih slika
Neuronska mreža njemačkih istraživača može izdvojiti fizička svojstva iz nepokretnih slika

"Što više slika imate, to je bolja kvaliteta. Model ne može stvarati stvari koje nije vidio", objasnio je Rückert u New Scientistu


Neki od najjednostavnijih primjera generiranih okruženja koriste između 300 i 350 slika snimljenih iz različitih kutova. Istraživači žele poboljšati sustav tako što će simulirati način na koji se svjetlost odbija od objekata u sceni kako bi došla do kamere, što bi značilo da je potrebno manje fotografija za precizno 3D renderiranje.


Simuliranjem načina na koji se svjetlost odbija od objekata poboljšavaju se mogućnosti sustava
Simuliranjem načina na koji se svjetlost odbija od objekata poboljšavaju se mogućnosti sustava

Neusporediva kvaliteta renderiranja

"Do sada stvaranje fotorealističnih slika iz 3D rekonstrukcija nije bilo potpuno automatizirano i uvijek je imalo uočljive nedostatke", kaže Tim Field, osnivač tvrtke Abound Labs koja izrađuje softver za 3D snimanje. Sustav još uvijek zahtijeva unos točnih 3D podataka i još ne djeluje na pokretnim objektima, ali "kvaliteta renderiranja je neusporediva".

Rekonstrukcija kuće pomoću COLMAP-a
Rekonstrukcija kuće pomoću COLMAP-a

"To dokazuje da je automatizirani fotorealizam moguć", kaže Field koji vjeruje kako će se ova tehnologija uskoro koristiti za generiranje vizualnih efekata u filmovima i virtualnoj stvarnosti. "Ubrzat će renderiranje slika koje se generiraju računalom pomoću strojnog učenja."