Firefly: la IA de Adobe que ahora puede generar vídeo

Adobe continúa innovando el mercado audiovisual con herramientas basadas en inteligencia artificial generativa. Uno de los últimos lanzamientos viene de la mano de su modelo Firefly para la generación de vídeo, lo que permite generar y editar contenido audiovisual.

Adobe Firefly manipula texto e imágenes para ofrecer a los profesionales de la industria audiovisual resultados sin precedentes sobre sus producciones.

¿Qué es Adobe Firefly?

Adobe Firefly es un conjunto de herramientas de inteligencia artificial generativa desarrollado por Adobe para mejorar trabajos creativos en el ámbito de la industria audiovisual. Esta tecnología permite a los usuarios generar contenido visual a partir de descripciones textuales. Firefly está integrado en diversas aplicaciones de Adobe como Photoshop, Illustrator y Premiere Pro.

Esta nueva tecnología se ha entrenado únicamente con contenidos bajo licencia, lo que garantiza que las creaciones son seguras para el uso comercial (al igual que ocurre con Adobe Stock). Actualmente sus servicios se encuentran públicos en fase beta.

Principales funcionalidades de Firefly

Creación de vídeo a partir de texto

Una de las principales utilidades de Adobe Firefly es que es capaz de transformar los prompts de los usuarios en secuencias (cortas) de vídeo. Al igual que el lanzamiento de Meta Movie Gen, Adobe Firefly supone un avance sin precedentes en la industria de la producción audiovisual. A través de la utilidad “Text to Video”, los usuarios pueden generar clips a partir de la descripción textual de las escenas que queremos ver plasmadas en el vídeo.

Tal y como se ilustra en el sitio web de Adobe, Firefly interpreta estas descripciones para crear imágenes de alta calidad con detalles cinematográficos, como el tipo de iluminación, el ángulo de la cámara o el movimiento. La generación del contenido visual se produce en cuestión de minutos sin la necesidad de realizar grabaciones adicionales.

Si un filmmaker necesita crear una escena de un reno en un paisaje nevado, no tiene más que describir todos estos elementos y Firefly generaré el vídeo con un estilo acorde a la descripción proporcionada.

Creación de vídeo a partir de imágenes estáticas

Además, Firefly también incorpora en su haber la función “Image to Video”, que permite a los usuarios crear clips a partir de imágenes estáticas. En este caso, los profesionales del ámbito audiovisual pueden proporcionar una referencia visual junto con un prompt para que Firefly desarrolle un vídeo que vaya en consonancia con el input del usuario.

Esta funcionalidad es una herramienta muy útil para dar vida a fotogramas específicos, lo que agiliza sobremanera el tiempo de postproducción e incluso ahorra tiempo en los tiempos del trabajo creativo.

Todas estas aplicaciones, en definitiva, permiten agregar un grado de personalización a los clips mediante la combinación de descripción textuales y elementos visuales. Durante la versión beta, las creaciones son totalmente gratuitas.

Herramientas de Adobe con Firefly

Como ya hemos mencionar, Adobe ha lanzado diversas herramientas impulsadas por su modelo Firefly, integradas en paquetes como Premiere Pro, Photoshop o Illustrator:

  • En Premiere Pro, por ejemplo, facilita la ampliación de clips de vídeo y audio o suaviza transiciones.
  • En Photoshop, Firefly impulsa funciones como el Relleno Generativo y la Ampliación Generativa, permitiendo eliminar elementos no deseados de las imágenes y ampliar áreas de una forma coherente y natural.
  • Por último, Illustrator incorpora Firefly en su versión beta para el Relleno Generativo de Formas. La herramienta también ofrece funciones avanzadas para el diseño 3D y la creación de formas con mayor precisión.

Firefly integrado en Adobe Premiere Pro

La integración de Firefly en Adobe Premiere Pro, bajo los auspicios de la función “Generative Extend”, ofrece a los editores de vídeo una nueva forma de completar sus proyectos con éxito. Esta herramienta permite generar automáticamente clips basados en el contenido existente de la línea del vídeo original.

Por ejemplo, cuando un editor se encuentra con vacíos de contenido en una secuencia, puede usar Firefly para crear el material que falta sin tener que recurrir a grabaciones externas o a la búsqueda de material para garantizar una coherencia visual. Además, la herramienta ofrece controles avanzados sobre elementos visuales como ángulos de cámara, zooms y movimientos, lo que facilita la integración de estos nuevos clips con el material ya existente.

El software Firefly no solo se circunscribe a la generación de contenidos en formato vídeo, sino que también permite a los editores optimizar el flujo de trabajo creativo a la hora de modificar clips para que se inserten dentro de la estética de la producción per se. Esto es especialmente útil para producciones que necesitan efectos visuales complejos, como transiciones coherentes con la estética visual, eliminación de objetos no deseados o la creación de efectos atmosféricos (e.g., fuego o humo).

Con Firefly, estas tareas, que antes podían ser especialmente laboriosas, ahora se realizan con mayor facilidad, lo que no solo ahorra tiempo, sino que también potencia la creatividad de los editores dentro de este ámbito de la IA generativa.

Impacto en la industria del vídeo

El lanzamiento de Firefly promete revolucionar la industria del vídeo a partir del uso que ofrecen las utilidades que hemos presentado anteriormente. Para los grandes estudios de producción, esta IA de Adobe permite reducir en gran manera los costes y tiempos de producción al eliminar la necesidad de grabar escenas adicionales o recurrir servicios de postproducción.

Los creadores pueden generar material para sus proyectos en cuestión de minutos, y el uso de Firefly en Adobe Premiere Pro permite una integración perfecta entre el contenido generado y el grabado. Esto permite a los editores experimentar y ajustar sus vídeos desde una perspectiva que antes era simplemente impensable.

Para los creadores freelance y las pequeñas productoras, Firefly supone un paso más hacia la democratización en el acceso a herramientas de calidad basadas en IA. Además, Firefly permite a estos creadores centrarse más en el aspecto artístico de sus proyectos, reduciendo la necesidad de lidiar con detalles técnicos o logísticos (en ocasiones accesible tan solo a un público determinado con conocimientos especializados en el sector).

Aunque algunos críticos han expresado preocupaciones sobre el impacto que la IA podría tener en los trabajos creativos, Adobe ha diseñado Firefly para complementar el trabajo humano, asegurando que la IA sea una herramienta que potencie, y no reemplace, el talento humano.

¿Quieres aprender a usar la IA generativa en marketing digital?

Si quieres especializarte en inteligencia artificial generativa aplicada al marketing, no dudes en matricularte en nuestro Master en Marketing Digital y conviértete en uno de los perfiles profesionales más demandados por las empresas. Nuestra escuela, Esden Business School, es un centro de referencia en el que podrás aprender los fundamentos del marketing digital.