Meta predstavila Movie Gen: AI model za generiranje videa i zvuka

Tržište alata za generiranje AI videozapisa postaje sve konkurentnije, s brojnim tvrtkama koje nude rješenja slična Metinom Movie Genu, AI modelu za stvaranje realističnih video i audio isječaka, koji je upravo najavljen

Ivan Podnar subota, 5. listopada 2024. u 18:08
📷 Meta Gen
Meta Gen

Više je ključnih igrača na tržištu alata za generiranje AI videozapisa, od tehnoloških divova do specijaliziranih startupova. Meta, OpenAI, Google DeepMind i Adobe predstavljaju neka od najvećih imena u industriji, svaki sa svojim jedinstvenim pristupom AI generiranju videozapisa. Runway AI, Luma AI i Captions LLC donose specijalizirane alate koji se fokusiraju na specifične aspekte video produkcije. U međuvremenu, kompanije poput Veed, Synthesia, Pika Labs, HeyGen i Elai nude rješenja koja se kreću od stvaranja AI avatara do platformi za generiranje videozapisa.

Strah od Sore

Metina objava Movie Gena dolazi nedugo nakon Meta Connect događaja, na kojem su prikazani novi hardver i najnovija verzija njihovog velikog jezičnog modela, Llama 3.2.

Uzbuđenje raste jer tvrtka gleda na najvažnije konkurente, OpenAI-jevu Soru i Runway. Bitka će se voditi oko holivudskih studija i industrije zabave općenito. Tvrtka Runway je prošlog mjeseca potpisala ugovor s kompanijom Lionsgate za treniranje modela na njihovoj biblioteci filmova kako bi se kasnije koristili u kreiranju novih filmova, doslovce recikliranjem scena iz ranijih filmova.

30 milijardi parametara

Mogućnosti Movie Gen-a nadilaze jednostavno generiranje videa iz teksta, kao i kod mnogih drugih alata. Ono što je novo je da model može izvoditi ciljane izmjene na postojećim isječcima, poput dodavanja objekata u scenu ili mijenjanja izgleda površina. Primjerice, jedna demonstracija prikazala je ženu koja nosi VR naočale transformiranu tako da izgleda kao da nosi steampunk dalekozor.

Model također može generirati zvuk uz video sadržaj. Primjeri uključuju AI-generiranog muškarca pokraj vodopada sa čujnim pljuskanjem i simfonijskim zvukovima, sportski automobil s brujanjem motora i škripanjem guma te zmiju koja klizi kroz džunglu praćenu napetim zvukovima rogova.

Movie Gen Video sastoji se od 30 milijardi parametara, dok Movie Gen Audio ima 13 milijardi parametara. Model može proizvesti videozapise visoke rezolucije u trajanju do 16 sekundi. Meta tvrdi da nadmašuje konkurentske modele u ukupnoj kvaliteti videa.

Vodeni žig na sve videozapise

Meta nije pružila specifične detalje o podacima korištenim za treniranje Movie Gen-a, navodeći samo da su koristili "kombinaciju licenciranih i javno dostupnih skupova podataka". Izvori podataka za treniranje generativnih AI alata ostaju kontroverzno pitanje. Kako bi izbjegli probleme s autorskim pravima i pitanja koja bi mogla nastati zbog deepfakeova, Meta će dodati vodeni žig na sve videozapise generirane ovim modelom.

Izvršni direktor Mark Zuckerberg prethodno je demonstrirao Metinu AI značajku Imagine Me, koja korisnicima omogućuje umetanje vlastitih lica u različite scenarije. Movie Gen bi potencijalno mogao ponuditi video verziju ove značajke.

Nije najavljen točan datum izlaska za Movie Gen, već je samo nagoviješteno "potencijalno buduće izdanje".  Movie Gen je dostupan samo za neke interne zaposlenike i nekolicinu vanjskih partnera, uključujući neke filmaše. S obzirom na Metino vlasništvo nad društvenim medijima, moguće je da će alati temeljeni na Movie Gen-u eventualno biti integrirani u platforme poput Facebooka, Instagrama i WhatsAppa.