Gen-1, alat koji donosi moć Stable Diffusiona u video svijet
Autori poznatog generatora AI ilustracija Stable Diffusion otkrili su svoj novi uradak, alat koji može video zapis potpuno promijeniti i dati mu novi stil, efekte i transformirati ga u nešto neviđeno
Runway, kompanija koja djelomično stoji iza sada već poznatog AI ilustratora Stable Diffusion, prikazala je što može njihov novi sustav umjetne inteligencije, specijaliziran za video. Nazvan Gen-1, ovaj generativni AI sustav pretvara postojeće video zapise, na temelju tekstualnih opisa i drugih zadanih videa, u isječke potpuno drugačijeg stila.
AI uređivanje videa
Kao ulazne podatke Gen-1 koristi, dakle, zadani video isječak. Kao primjer, ističu kratku snimku čovjeka koji hoda po gradu i snima se mobitelom. Potom AI dobiva zadatak – pretvoriti taj video u video koji je sniman tehnikom animacije gline. Rezultat je, očekivano, spektakularan. Drugi primjer je lice osobe koje se pomiče, govori, radi grimase – a kada se na njega aplicira stil Van Gogha, kipara, nekog trećeg umjetnika-animatora, isto to lice izvodi sve iste radnje, ali u obliku umjetničkog djela.
Gen-1 već sada ima nekoliko načina rada. Osim spomenute promjene stila (Stylization) videa, tu su i dodatne funkcije istog sustava. Prvi je Storyboard, u kojem treba okvirno snimiti kadrove kakve želimo vidjeti u finalnom uratku, a potom na njih primijeniti nešto sasvim novo. Kadriranje, pokreti kamere i svene ostaju nalik izvornima, no na njih su primijenjeni drugi efekti – pa knjige tako mogu postati građevine.
Drugi dodatni mod naziva se Mask, a može promijeniti izgled samo jednog elementa. Za primjer, Runway ističe isječak u kojem se, samo na temelju tekstualnog zadatka, psu u videu mijenja pasmina, dok sve ostalo ostaje kako je i izvorno snimljeno. Još jedan način rada je Render, u kojem se kao ulazni podatak uzima računalni render bez tekstura, a AI na njega aplicira željene teksture i efekte, za što bi inače trebalo koristiti specijalizirane alate za obradu videa.
I naposlijetku, način rada Customization objedinjava sve spomenute alate, nudi "otključavanje" pune snage obrade videa umjetnom inteligencijom i predstavlja potpuno novu generaciju računalne obrade videa.
Gen-1 za sada nije javno dostupan. Svi zainteresirani mogu se, putem njihovih stranica, priključiti Discord serveru na kojem će doznati više, ali i zatražiti rani pristup alatu, jednom kada on bude spreman za javnost. Za sada se prijave bilježe na listu čekanja.
