Il nuovo modello di Runway, chiamato Gen-1, può cambiare lo stile visivo di video e film esistenti, sono con dei prompt
Runway, la startup di intelligenza artificiale generativa che ha co-creato il modello di testo Stable Diffusion nelle immagini lo scorso anno, ha rilasciato un modello di intelligenza artificiale in grado di trasformare i video esistenti in nuovi video applicando prompt di testo o qualsiasi stile specificato da un'immagine di riferimento.
Nelle demo dimostrative pubblicate sul suo sito Web, Runway mostra come il suo software, chiamato Gen-1, può trasformare clip di persone che camminano per strada in pupazzi di argilla o libri impilati su un tavolo in un paesaggio urbano notturno. Runway vuole che Gen-1 faccia per i video ciò che Stable Diffusion ha fatto per l'immagine. “Abbiamo assistito a un'enorme esplosione di modelli generativi per le immagini", ha affermato Cristóbal Valenzuela, CEO e co-fondatore di Runway. "Credo fermamente che il 2023 sarà l'anno del video. "
Fondata nel 2018, Runway sviluppa da anni software di editing video basato sull'intelligenza artificiale. I suoi strumenti sono utilizzati da TikToker e YouTuber, nonché dai principali studi cinematografici e televisivi. Il creatore di The Late Show con Stephen Colbert utilizza il software Runway per modificare la grafica dello spettacolo; il team degli effetti visivi dietro il film di successo Everything Everywhere All At Once ha utilizzato la tecnologia di Runway per produrre alcune scene.
Nel 2021, Runway ha collaborato con i ricercatori dell'Università di Monaco per costruire la prima versione di Stable Diffusion. Stability AI, una startup con sede nel Regno Unito, è quindi intervenuta per pagare i costi di calcolo necessari per allenare il modello su molti più dati. Nel 2022, Stability AI ha portato Stable Diffusion al mainstream, trasformandolo da un progetto di ricerca in un fenomeno globale.
Ma le due società non collaborano più. Getty sta ora intraprendendo un'azione legale contro Stability AI, sostenendo che la società ha utilizzato le immagini di Getty, che appaiono nei dati di formazione di Stable Diffusion, senza autorizzazione, e Runway desidera mantenere le distanze.
Gen-1 rappresenta un nuovo inizio per Runway. Fa seguito a una manciata di modelli di testo in video rilasciati alla fine dell'anno scorso, tra cui Make-a-Video di Meta e Phenaki di Google, entrambi in grado di generare video clip molto brevi da zero. È anche simile a Dreamix, l'intelligenza artificiale generativa che Google ha rivelato la scorsa settimana che può creare nuovi video da video esistenti applicando stili specifici. Ma almeno dalla demo reel di Runway, la Gen-1 sembra essere migliorata in termini di qualità video. Poiché converte i filmati esistenti, può anche realizzare video più lunghi rispetto alla maggior parte dei modelli precedenti.
A differenza di Meta e Google, Runway ha costruito il suo modello pensando ai clienti. "Questo è uno dei primi modelli ad essere sviluppato a stretto contatto con una comunità di produttori di video", afferma Valenzuela. "Si tratta di anni di intuizioni su come i registi e gli editori di VFX lavorano effettivamente sulla post-produzione".
L'esplosione dell'IA generativa dello scorso anno è stata alimentata da milioni di persone che hanno avuto accesso per la prima volta a potenti strumenti creativi e hanno condiviso con loro ciò che hanno creato. Valenzuela spera che mettere la Gen-1 nelle mani di professionisti creativi abbia presto un impatto simile sui video.
"Siamo molto vicini alla realizzazione di un film completo", ha detto. "Ci stiamo avvicinando a dove viene generata la maggior parte dei contenuti che vedete online."
E tu, cosa ne pensi?