Movie Gen, la IA de Meta que genera videos como si fueran reales
Meta, desarrolladora de Facebook e Instagram, anunció el lanzamiento de Movie Gen, su nuevo modelo de IA que crea videos y clips de audio que pretende competir directamente con Sora, el generador de video de OpenAI.
[TE RECOMENDAMOS: Así es el primer comercial creado por Sora, el generador de video de OpenAI]
¿Qué es y cómo funciona la IA de videos de Meta?
Movie Gen es un elenco de modelos básicos de generación de medios, según el artículo de Meta. Estos pueden generar de forma nativa imágenes, videos y audio de alta fidelidad y, al mismo tiempo, poseen la capacidad de editar y personalizar los videos.
“Nuestros modelos están entrenados previamente con datos de imagen, video y audio a escala de Internet”.
Meta
El modelo de generación de texto a video más grande, Movie Gen Video, consta de 30 mil millones de parámetros, mientras que nuestro modelo de generación de video a audio más grande, Movie Gen Audio, consta de 13 mil millones de parámetros.
“Además, entrenamos posteriormente el modelo Movie Gen Video para obtener un video Movie Gen personalizado que puede generar videos personalizados condicionados al rostro de una persona”, señaló Meta este viernes.
Finalmente, se anunció un procedimiento novedoso de posentrenamiento para producir Movie Gen Edit que puede editar videos con precisión.
En conjunto, estos modelos se pueden utilizar para crear videos HD personalizados realistas de hasta 16 segundos (a 16 FPS) y audio de 48 kHz, y la capacidad de editar videos reales o generados.
Para permitir futuras evaluaciones comparativas, Meta espera publicar varias evaluaciones comparativas:
- Movie Gen Video Bench (Sección 3.5.2)
- Movie Gen Edit Bench (Sección 5.2.1)
- Movie Gen Audio Bench (Sección 6.3.2).
“También ofrecemos detalles completos sobre arquitecturas de modelos, entrenamiento, inferencia y configuraciones experimentales que esperamos aceleren la investigación en modelos de generación de medios”, remató la empresa de Mark Zuckerberg.
¿Qué se podrá hacer con Movie Gen de Meta?
La principal función de Movie Gen es aprovechar entradas de texto simples para producir videos y sonidos personalizados, editar videos existentes o transformar la imagen personal en un video único.
Genere videos a partir de texto
Esta herramienta es capaz de producir videos originales a partir de texto. “Crea videos largos de alta definición en diferentes relaciones de aspecto, los primeros de su tipo en la industria”, según Meta.
Edite videos con texto
Movie Gen transforma videos existentes con entradas de texto con una edición precisa en estilos y transiciones hasta ediciones de grano fino.
Produzca videos personalizados
Con esta herramienta, el usuario puede cargar una imagen de sí mismo para transformarla en un video personalizado. Se preserva la identidad y el movimiento de las personas en el material audiovisual.
Cree efectos de sonido y bandas sonoras
“Use entradas de video y texto para generar audio para sus videos. Movie Gen le permite crear y extender efectos de sonido, música de fondo o bandas sonoras completas”, de acuerdo con Meta.
Te recomendamos:
