Movie Gen es un modelo de inteligencia artificial desarrollada por Meta que permite crear videos a partir de descripciones textuales. Fue anunciado por primera vez el 4 de octubre de 2024. [1][2]
A partir de un texto proporcionado por el usuario, el sistema genera un video. Por ejemplo, si un usuario introduce el prompt «un esponjoso koala surfeando sobre una tabla amarilla», Movie Gen produce un clip animado que ilustra esta escena.[3] Además de generar videos, la IA también permite crear videos personalizados subido por el usuario o generar audios.[1][4] Los modelos Movie Gen pueden generar videos de hasta 16 segundos con una resolución de 1080p y audio sincronizado de 48kHz. [5]
Este modelo competirá con los modelos Sora de OpenAI y Veo de Google.[6][7] Movie Gen todavía no está a disposición del público. [6][2]
Funcionamiento
Generación de video
Meta Movie Gen es la tercera generación de modelos fundacionales de Meta. El modelo utiliza un transformador de 30.000 millones de parámetros para producir videos de alta calidad de hasta 16 segundos para una velocidad de 16 fotogramas por segundo con una resolución de 1080p, a partir de una descripción de texto.[8][5] Como indica Meta, «estos modelos pueden razonar sobre el movimiento de los objetos, las interacciones sujeto-objeto y el movimiento de la cámara, y pueden aprender movimientos plausibles para una amplia variedad de conceptos, lo que los convierte en modelos de última generación en su categoría».[1]
El transformador tiene una estructura similar a la de LLaMa 3, su modelo de lenguaje más capaz, pero se han añadido módulos específicos para la generación de video, como un módulo de atención cruzada para incorporar la información del texto de entrada y un módulo de normalización adaptativa para manejar las diferentes etapas del proceso de generación.[5]Para generar videos de alta resolución (1080p HD), Movie Gen utiliza un modelo de supermuestreo espacial que toma como entrada videos de menor resolución y los mejora. Este modelo, también basado en un transformador, aprende a generar detalles finos y a mejorar la nitidez de las imágenes, lo que resulta en una mejor calidad visual.[5]
Videos personalizados
El modelo también es capaz de generar videos personalizados. El modelo toma como entrada la imagen de una persona y se combina con un prompt para generar un video que contiene a la persona de referencia y detalles visuales enriquecidos por la instrucción.[1][8] Según afirmó Meta, «nuestro modelo logra resultados de última generación cuando se trata de crear videos personalizados que preservan la identidad y el movimiento humanos».[1]
Editor de video
La variante de edición del mismo modelo toma como entrada tanto el vídeo como el prompt, ejecutando tareas para generar la salida deseada. Combina la generación de video con la edición avanzada de imágenes.[1]Trabaja sobre videos generados y sobre capturas del mundo real. Meta afirma que su modelo «preserva el contenido original» en tanto añade elementos al video, como telones de fondo o vestimenta para los personajes principales.[9]
Generación de audio
El modelo de 13.000 millones de parámetros puede usar un vídeo y una descripción en texto para generar una pista de audio que se acople a lo que sucede en la imagen.[7]El resultado tiene una duración de hasta 45 segundos y engloba sonido ambiental, efectos de sonido y música instrumental de fondo. Este modelo también permite generar audio coherente para videos de duraciones arbitrarias, «logrando en general un rendimiento de vanguardia en calidad de audio, alineación de video a audio y alineación de texto a audio».[10][1]
Véase también
Referencias
- ↑ a b c d e f g «Meta Movie Gen». ai.meta.com. Consultado el 9 de octubre de 2024.
- ↑ a b «Meta lanza su inteligencia artificial para generar videos de nombre Movie Gen». www.msn.com. Consultado el 9 de octubre de 2024.
- ↑ «Meta lanza Movie Gen: ¡Descubre el revolucionario generador de videos con inteligencia artificial!». www.msn.com. Consultado el 9 de octubre de 2024.
- ↑ «Meta rivaliza a Sora con Movie Gen, la nueva IA generadora de vídeos». Diario ABC. 7 de octubre de 2024. Consultado el 9 de octubre de 2024.
- ↑ a b c d «Movie Gen - Paper oficial de Investigación». ai.meta.com. Consultado el 9 de octubre de 2024.
- ↑ a b Handley, Thomas (4 de octubre de 2024). «Movie Gen de Meta genera videos de IA y es capaz de hacer películas reales, con música incluida.». Gizmodo en Español. Consultado el 9 de octubre de 2024.
- ↑ a b «Meta anuncia un nuevo modelo de ia capaz de generar video con sonido, desafiando a openai». LA NACION. 4 de octubre de 2024. Consultado el 9 de octubre de 2024.
- ↑ a b Infobae, Por Newsroom (4 de octubre de 2024). «Meta Movie Gen ofrece un conjunto de modelos para generación de vídeo y audio para vídeo de alta calidad». infobae. Consultado el 9 de octubre de 2024.
- ↑ Sureño, Diario El (5 de octubre de 2024). «Movie Gen de Meta genera videos de IA y es capaz de hacer películas reales, con música incluida.». Diario El Sureño. Consultado el 9 de octubre de 2024.
- ↑ «Movie Gen: Meta rompe paradigmas y crea un modelo de IA que permite hacer videos personalizados con audio». www.msn.com. Consultado el 9 de octubre de 2024.
