Así es Runway Gen 3, la nueva IA que promete liderar la generación de vídeo a partir de texto

Runway ha lanzado Gen-3 Alpha, el primero de una serie de modelos entrenados en una nueva infraestructura diseñada para el entrenamiento multimodal a gran escala. Esta versión, que estará disponible “en los próximos días”, aspira a suponer una mejora significativa en fidelidad, consistencia y movimiento respecto a Gen-2, y un paso más hacia la creación de lo que Runway denomina “modelos generales del mundo”, universos autoconsistentes en los que los distintos elementos interactúan de forma coherente.

Innovaciones en fidelidad y movimiento

Gen-3 Alpha ha sido entrenado de forma conjunta en vídeos e imágenes, lo que le permite generar contenido de alta calidad en una amplia gama de aplicaciones. Entre las mejoras clave se incluyen:

• Fidelidad y consistencia: Los modelos de Gen-3 Alpha ofrecen una mayor coherencia en la calidad del vídeo y las transiciones entre escenas, logrando un efecto visual más realista y atractivo.
• Control temporal detallado: Gracias a subtítulos descriptivos los usuarios podrán realizar transiciones imaginativas y un control preciso de los elementos en la escena.
• Fotorrealismo: Gen-3 Alpha es capaz de generar personajes humanos expresivos con una amplia gama de acciones, gestos y emociones. Por ejemplo, un retrato cinematográfico de un hombre iluminado por el resplandor de un televisor.
• Creatividad artística: Como ha mostrado en su presentación Gen-3 permite la creación de videos que van desde un hombre hecho de rocas caminando por un bosque hasta un ciclón de vidrios rotos en un callejón urbano.

Por ejemplo, se puede generar un vídeo de un astronauta corriendo por un callejón en Río de Janeiro o un plano en primera persona volando a través de un vecindario submarino lleno de corales coloridos, lo que demuestra la versatilidad y el detalle que ofrece este modelo.

Herramientas avanzadas y nuevos modos

Gen-3 Alpha impulsará las herramientas de Texto a Video, Imagen a Video y Texto a Imagen de Runway, así como los modos de control existentes como Motion Brush, Advanced Camera Controls y Director Mode. Estas herramientas permiten un control más fino sobre la estructura, el estilo y el movimiento, brindando a los usuarios un potencial creativo sin precedentes.

Comparación con Gen-2

Comparado con Gen-2, que ya era capaz de generar vídeos a partir de imágenes y descripciones de texto, Gen-3 Alpha lleva la tecnología a un nuevo nivel. Gen-2 destacó por su capacidad de transformar prompts en escenas visuales coherentes, pero Gen-3 Alpha promete mejorar la fidelidad y consistencia del vídeo, ofreciendo transiciones más suaves y un control temporal más preciso. Además, Gen-3 Alpha introduce la generación de humanos fotorrealistas y un manejo avanzado de movimientos y acciones, ampliando las posibilidades creativas y la calidad del contenido generado.

Introducing Gen-3 Alpha: Runway’s new base model for video generation.

Gen-3 Alpha can create highly detailed videos with complex scene changes, a wide range of cinematic choices, and detailed art directions.https://t.co/YQNE3eqoWf

(1/10) pic.twitter.com/VjEG2ocLZ8

— Runway (@runwayml) June 17, 2024

Moderación visual y estándares de procedencia

Con el lanzamiento de Gen-3 Alpha, Runway introduce un conjunto de nuevas salvaguardas para garantizar la seguridad y la integridad del contenido generado:

• Moderación visual mejorada: Un sistema interno avanzado que asegura que el contenido generado cumpla con los estándares éticos y de calidad.
• Estándares C2PA: Proveen transparencia y credibilidad al adjuntar credenciales de contenido digital a los trabajos creados o editados con las funciones impulsadas por Gen-3 Alpha.

Imagen: GPT Plus