Filmaši bi uskoro mogli stabilizirati podrhtavajući video, mijenjati kuteve gledišta i stvarati efekte zamrzavanja, zumiranja i usporene snimke bez snimanja novih kadrova, zahvaljujući novom algoritmu Sveučilišta Cornell i Google Researcha. Softver nazvan DynIBar koristi informacije o pikselima iz izvornog videa, a funkcionira čak i kad radi s pokretnim objektima i nestabilnim kamerama. 

Nagrađen rad

DynIBaR i njegove mogućnosti predstavljeni su na nedavno završenoj IEEE/CVF konferenciji o računalnom vidu i prepoznavanju uzoraka, gdje je projekt dobio počasnu nagradu, a kod je dostupan besplatno na internetu iako je projekt u ranoj fazi i još nije integriran u komercijalne alate za uređivanje videa. 

Riječ je o velikom napretku u odnosu na prethodne pokušaje kojima je uspjelo obraditi samo nekoliko sekundi videa, a subjekte u pokretu često su prikazivali kao mutne ili nepravilne.

Jedinstveni postupak

Postojeće metode za renderiranje novih prikaza nepokretnih scena, poput onih koje čine da fotografija izgleda 3D, uzimaju 2D mrežu piksela sa slike i rekonstruiraju 3D oblik i izgled svakog objekta na fotografiji. DynIBar ide korak dalje procjenjujući kako se objekti pomiču tijekom vremena. Ali razmatranje sve četiri dimenzije stvara težak matematički problem.

Istraživači su ovaj problem pojednostavili renderiranjem temeljenim na slikama (image-based rendering, IBR). Riječ je o jedinstvenom postupku koji zahtijeva računalnu grafiku, računalni vid i obradu slike razvijenu u devedesetima. U to je vrijeme tradicionalnim metodama računalne grafike bilo teško prikazati složene scene s mnogo malih dijelova, poput lisnatog stabla, pa su istraživači razvili metode kojima se mijenjaju i rekombiniraju dijelovi slike kako bi se generirali novi prizori. 

Sintetiziranje novih perspektiva

"Inkorporirali smo klasičnu ideju renderiranja temeljenog na slikama i to našu metodu čini sposobnim za rukovanje stvarno složenim scenama i duljim videozapisima", objašnjavaju istraživači koji su razvili metodu korištenja renderiranja temeljenog na slikama za sintetiziranje novih perspektiva fotografije, na čemu se temelji novi softver.

Ove mogućnosti vjerojatno se neće tako skoro ugraditi u pametne telefone. Softveru je trenutno potrebno nekoliko sati da obradi 10 ili 20 sekundi videa, čak i na moćnom računalu. U bliskoj budućnosti, tehnologija bi mogla biti prikladnija za korištenje u softveru za uređivanje videa, kažu istraživači.

Treba tek otkriti i način kako renderirati nove slike kad iz izvornog videa nedostaju informacije o pikselima, primjerice kada se subjekt kreće prebrzo ili korisnik želi rotirati točku gledišta za 180 stupnjeva. Istraživači predviđaju da bi se u proces uskoro mogle uključiti generativne UI tehnike kako bi se uz njihovu pomoć popunile te praznine.