Desde el tremendo revuelo que generó Sora de OpenAI, no pasa ningún mes sin que se anuncie un nuevo generador de vídeo de IA. Esta vez, estamos hablando de Dream Machine de Luma AI. Según la página del producto, su modelo recién lanzado crea videos realistas y de alta calidad a partir de texto, y lo hace rápidamente. Sin embargo, lo más interesante de este generador es que cualquiera puede probarlo de forma gratuita. ¡Vamos a probarlo!
No es la primera vez que escribimos sobre Luma AI. Soy un gran admirador de sus escaneos 3D automatizados, que los usuarios pueden realizar a partir de simples videos de smartphone. En mi opinión, esta función es particularmente útil para la búsqueda de locaciones (puedes ver el flujo de trabajo completo explicado en esta publicación con video). Los desarrolladores incluso se autodenominan “The 3D AI Company”, por lo que fue bastante inesperado verlos unirse a la carrera de la generación de videos. Pero nuevamente, tal vez podrían transferir sus conocimientos y toneladas de imágenes escaneadas a un modelo funcional. Nunca lo sabes hasta que lo intentas.
Lo que promete Dream Machine de Luma AI
En la descripción, Luma AI presenta Dream Machine como un modelo de texto a video (e imagen a video) de alta calidad que es capaz de generar tomas físicamente precisas, consistentes y llenas de acontecimientos. También elogian su increíble velocidad: la red neuronal supuestamente puede generar 120 cuadros en 120 segundos (spoiler: mis pruebas demostraron que no siempre es así, porque algunas generaciones tardaron hasta 7 minutos). Otra ventaja de esta herramienta es su consistencia:
Dream Machine comprende cómo las personas, los animales y los objetos interactúan con el mundo físico. Esto te permite crear videos con una gran consistencia de personajes y una física precisa.
De la descripción del modelo en la página web de Luma AI.
Solo como nota al margen es necesario aclarar que la mayoría de los generadores de video de IA disponibles en el mercado tienen dificultades con la consistencia y la física precisa, como lo demostramos durante algunas pruebas exhaustivas.
Por el momento, Dream Machine genera tomas de 5 segundos de duración (con la posibilidad de ampliarlas) y se dice que comprende y recrea los movimientos de la cámara, tanto cinematográficos como naturalistas.
Poner a prueba la comprensión
Cuando te diriges al sitio web de Luma AI e inicias sesión, Dream Machine se inicia automáticamente. Tiene una interfaz sencilla que consta de un campo de texto y un icono para cargar una imagen (lo veremos más de cerca a continuación).
Para hacer una comparación justa, el primer mensaje que le envié al modelo fue el mismo que usé en mis pruebas anteriores con otros generadores de video de IA. Sin embargo, hice algunos ajustes y agregué la descripción del movimiento de la cámara y cómo debería actuar el personaje. Después de varios minutos, la red neuronal arrojó el resultado.
Una mujer de cabello negro con un vestido rojo permanece inmóvil junto a la ventana y mira la nieve que cae afuera mientras la cámara avanza lentamente.
Mi mensaje
Como podrás ver, al igual que sus competidores, este generador de video tuvo dificultades para mantener la nieve fuera de la ventana (tal vez por eso la mujer parece tan triste y confundida en la escena resultante). Además, aunque le pedí que colocara a mi personaje inmóvil junto a la ventana, Dream Machine decidió agregar algo de acción y drama.
Al mismo tiempo, la comprensión general de la escena descrita es sorprendente. Tengo todo lo que pedí: una ventana, nieve, una mujer de pelo negro con un vestido rojo. Cuando la mujer se da vuelta, su rostro y figura no sufren dismorfia. Ella se mantiene consistente y luce bastante normal. Personalmente, hasta ahora no he sido testigo de tal consistencia en los generadores de video de IA (excluyendo a Sora y Veo de Google, ya que no están disponibles para pruebas públicas). ¿Qué opinas sobre esto?
Consejos de mensajes y mensajes mejorados
La única configuración que puedes probar hasta ahora en el generador de Luma AI se llama “Mejorar Mensaje”. Después de ingresar tu descripción en el campo de texto, aparecerá la casilla de verificación correspondiente. Está habilitado de forma predeterminada, por lo que mi resultado anterior ya incluía esta opción. Según los desarrolladores de Dream Machine, esto le proporciona al modelo más libertad creativa, por lo que no es necesario elaborar mucho para obtener resultados bellos y realistas. Sus indicaciones pueden ser breves y el modelo llenará los espacios en blanco con los detalles que mejor coincidan.
Si desactivas esta opción, deberás describir tu escena, acción, movimientos y objetos lo más detallados posible. Como mi solicitud de texto anterior ya era lo suficientemente elaborada, para la segunda ejecución la usé nuevamente y desmarqué la casilla “Mejorar Mensaje”. Aquí está el resultado:
¡Guau! ¿Qué pasó con mi hermosa mujer? No sé ustedes, pero me dan escalofríos cuando veo este resultado. El motivo no es sólo el desplazamiento de la mano izquierda del personaje sino también la forma en que mueve los hombros y gira la cabeza. Lo juro, podría ser una secuencia muy apropiada para una película de terror sobre caza de brujas. Aparte de eso, el modelo tenía los mismos problemas contextuales que el mensaje mejorado anterior.
Enfoque de imagen a video
Al igual que otros generadores de videos de IA, Dream Machine de Luma AI les permite a los usuarios cargar una imagen como entrada y proporcionarle texto adicional. En ese caso, los desarrolladores recomiendan habilitar el botón “Mejorar Mensaje” y describir qué movimientos y acciones (tanto con la cámara como con tus personajes) deben ocurrir en la escena.
Intentémoslo una vez más. Para este experimento, le pedí al generador de imágenes Midjourney que creara la misma mujer de cabello oscuro pero en forma de imagen fija. Mi mensaje original no se modificó, aunque no agregué las instrucciones sobre la cámara. Fue entonces cuando me di cuenta de que la IA de conversión de texto a imagen también tiene problemas con las ventanas y las condiciones climáticas:
Logré obtener un mejor resultado con algunos parámetros adicionales, pero por alguna razón desconocida, mi personaje se convirtió en una figura de anime. No importa, quedémonos con el primer intento ya que el resto de la imagen era bastante buena para una prueba:
¿Qué opinas? Aunque la nieve cae por todas partes, esta vez la mujer se queda quieta salvo algunos movimientos de cabello. Un problema mayor es que el generador de vídeo no consiguió que el movimiento de la cámara fuera correcto. Lo intenté varias veces, pero por alguna razón, siempre obtengo un aumento en lugar de un simple acercamiento. Hasta aquí la precisión.
Limitaciones actuales de Dream Machine de Luma AI
Como señalan los propios desarrolladores, el modelo aún se encuentra en fase de investigación y beta, por lo que tiene algunas limitaciones. Por ejemplo:
- Este generador de vídeo con IA (como los demás que ya están disponibles en el mercado) puede tener dificultades con el movimiento de humanos o animales. Intenta generar un perro corriendo y notarás que no mueve sus patas en absoluto.
- En la versión actual, Dream Machine de Luma AI no puede insertar ni crear ningún texto coherente y/o significativo.
- La transformación también es un problema y puede ocurrir con regularidad. Esto implica que tus objetos pueden cambiar de forma durante movimientos o acciones complicadas.
- Falta de flexibilidad actual. No puedes generar clips de más de 5 segundos desde el principio, agregar mensajes negativos o cambiar la relación de aspecto. Por ahora. Los desarrolladores afirman en la sección de preguntas frecuentes que están trabajando en controles adicionales para las próximas versiones de Dream Machine y están abiertos a recibir comentarios en su canal de Discord.
Dream Machine de Luma AI está disponible para pruebas
Considerándolo todo, Dream Machine de Luma AI parece más avanzado que otros generadores de video de IA que he probado hasta ahora. La consistencia de los resultados es mayor, los rostros de las personas parecen más realistas y el movimiento tampoco es tan malo. Sin embargo, todavía está muy lejos de lo que promete y muestra Sora de OpenAI. Pero mientras no podamos conseguirlo, las promesas seguirán siendo sólo promesas.
Puedes probar Dream Machine aquí. Actualmente, los usuarios obtienen 5 generaciones gratuitas por día. También hay planes pagos que te brindarán descargas sin marcas de agua, derechos comerciales y 30 generaciones gratuitas + 120 pagas.
¿Cuáles son tus primeras impresiones de Dream Machine de Luma AI? ¿Ya lo has probado? Somos conscientes de que existe un gran debate sobre los generadores de vídeo con IA en nuestra industria. ¿Cuál es tu opinión al respecto? Cuéntanos en los comentarios a continuación y, por favor, sean amables y respetuosos unos con otros.
Fuente de la imagen destacada: Luma AI
