¿Vídeos generados por IA con personajes y escenas coherentes? Prueba práctica de Vidu.com
Cuestiones de inteligencia artificial.
Vidu.com afirma que su IA puede generar vídeos con personajes y entornos coherentes. Eso significaría que podría encadenar varias secuencias con los mismos "actores" y crear potencialmente películas (cortas) enteras. Pero, ¿funciona realmente? Lo ponemos a prueba.Christian Hintze (traducido por DeepL / Ninh Duy) Publicado 🇺🇸 🇩🇪 ...
Veredicto - Enorme potencial, pero aún no está ahí
El potencial (y los riesgos) son impresionantes. Sin duda, la IA remodelará no sólo la creación de contenidos, sino también las industrias cinematográfica y del videojuego. Disponer de personajes, escenarios y entornos coherentes es un paso importante para que los generadores de vídeo con IA sean prácticos más allá de su uso como novedad.
Ahora mismo, sin embargo, no está del todo ahí. ¿Qué sentido tiene que la persona siga siendo la misma (suponiendo que lo sea) pero luego atraviese objetos sólidos, se duplique de repente o le crezcan seis dedos en una mano?
Por el momento, Vidu.com se parece más a un juguete. Es divertido, pero la tecnología aún no es lo suficientemente fiable para un uso profesional en cine, publicidad o áreas similares. Simplemente hay demasiados fallos.
Pro
Contra
Precios y disponibilidad
Cualquiera puede probar Vidu.com de forma gratuita tras crear una cuenta. El sistema funciona a base de créditos. Los nuevos usuarios obtienen algunos créditos de inicio, y se pueden ganar más a través de determinadas acciones.
También hay opciones de suscripción mensual y anual.
A pesar de las críticas válidas, la IA en este espacio nos parece fascinante. Pero el resultado varía enormemente en calidad: por un lado, puede obtener entornos increíblemente detallados directamente de su imaginación. Por otro, las personas generadas por la IA a menudo miran fijamente al espacio o se mueven en extraña cámara lenta.
Así que hemos dado al nuevo generador de vídeo de IA Vidu.com una vuelta nosotros mismos. Los desarrolladores añadieron amablemente 500 créditos a nuestra cuenta para probarlo. El modelo estrella de la plataforma, Vidu Q1, puede procesar hasta siete imágenes de referencia en una única secuencia de vídeo. Los elementos que faltan pueden generarse mediante indicaciones de texto.
¿Qué puede hacer con Vidu?
Con Vidu, puede generar vídeos AI utilizando estas herramientas:
- Texto a vídeo: Escriba una indicación que describa lo que debe ocurrir en el vídeo
- Imagen a vídeo: Genere un vídeo a partir de una sola imagen. Aún más genial: establezca un fotograma de inicio y otro de final, y Vidu rellenará la transición
- Referencia a vídeo: La función más emocionante. Cargue imágenes de personajes, localizaciones u objetos, y la IA intentará mantenerlas coherentes a lo largo de un vídeo.
la salida es Full HD, 16:9, con formato smartphone opcional. Los vídeos pueden incluso escalarse, por ejemplo, a 4K.
Experiencia práctica: curva de aprendizaje, indicaciones precisas
Nuestro ambicioso plan:
- Escena 1: Un editor de Notebookcheck se encuentra en una oficina probando un ordenador portátil.
- Escena 2: Teclea una calificación mediocre.
- Escena 3: Corte a otra oficina, donde unos hombres trajeados observan las imágenes de vigilancia del editor introduciendo esa calificación mediocre.
- Escena 4: Uno de los trajeados pulsa un botón de alarma.
- Escena 5: Se envía un equipo similar a los SWAT.
En total, trazamos 10 escenas aproximadas.
1. Escena: Editor probando un portátil
Utilizamos una foto antigua, no del todo actualizada, de uno de nuestros editores como referencia del personaje, además de una foto de la oficina para el escenario. Añadimos nuestro logotipo de Notebookcheck, un ordenador portátil y el logotipo de una marca ficticia de PC ("Lavani"). Luego dimos la siguiente indicación:
En resumen: nuestro editor (Imagen 1) debería estar de pie en la oficina (Imagen 2), probando un portátil. En la pared de ladrillo del fondo debería aparecer el logotipo de Notebookcheck (Imagen 3).
Renderizar un clip de 5 segundos con el modelo Vidu Q1 sólo lleva entre 1 y 2 minutos y cuesta entre 15 y 20 créditos. ¿El resultado?
No estábamos muy contentos con las siguientes cuestiones:
- ¿Por qué el peinado de nuestro personaje no coincide con la foto de referencia? ¿Seguirá siendo coherente en las escenas posteriores?
- ¿Por qué nuestro logotipo de referencia se convirtió en "notobochech"?
- ¿Por qué no se incluyó el ángulo de cámara "por encima del hombro" solicitado?
- ¿Por qué el editor no deja de hablar por un micrófono en todo momento?
Para los realizadores, esto hace que sea difícil conseguir los ángulos de cámara y los montajes exactos que describen.
Hicimos retoques, pero cuantos más detalles añadíamos, más problemas aparecían. Ahora el peinado era correcto, pero de repente había dos editoras gemelas en pantalla. Entonces nuestro editor atravesó un escritorio.
La IA también tuvo problemas con la colocación en primer plano. Y a pesar de las repetidas indicaciones, nunca produjo el plano por encima del hombro solicitado. En resumen, nuestras entradas de texto no se siguieron con precisión.
De imagen a vídeo
Dejamos a un lado nuestra ambiciosa idea de cortometraje y probamos la imagen a vídeo y las transiciones entre dos imágenes de referencia.
a primera funcionó bastante bien. Por ejemplo, nuestra imagen de Illidan (de *Warcraft 3*) se convirtió en un clip corto. La cámara acercaba el rostro del cazador de demonios mientras fruncía el ceño. Por cuestiones de copyright, no mostraremos la imagen ni el vídeo aquí.
Por último, probamos una transición entre dos fotogramas:
- Illidan está de pie sobre una roca.
- Illidan aterriza en el suelo.
La idea: Illidan debería saltar desde la roca (imagen 1) y aterrizar en el suelo (imagen 2). Pero en el vídeo generado, Illidan se transformó en una sombra negra parecida a un pájaro entre medias. Completamente inutilizable.
Resumen
Generar vídeos con Vidu.com es sencillísimo. Pero conseguir las escenas, ángulos de cámara y acciones exactas que desea es cualquier cosa menos eso. Las indicaciones no se siguen al pie de la letra, las imágenes de referencia se distorsionan (logotipo, peinado), los objetos pierden consistencia física (caminar por un escritorio) o se producen otros fallos (editor duplicado).
En definitiva, es un poco frustrante y actualmente hace casi imposible crear vídeos realmente coherentes y adaptados a su visión.
