NVIDIA presenta el modelo de IA generativa de texto a 3D LATTE3D, bautizado como "impresora 3D virtual"

LATTE3D puede interpretar instrucciones de texto muy específicas para generar un modelo 3D (Fuente de la imagen: NVIDIA)

El equipo de investigación en IA de NVIDIA ha presentado un nuevo modelo generativo capaz de convertir instrucciones de texto en modelos 3D en un segundo, listo (o al menos casi) para aplicaciones como el desarrollo de juegos, el diseño y la robótica. Hasta ahora, el modelo sólo se ha entrenado para generar "animales y objetos cotidianos", pero pueden añadirse más categorías. La velocidad casi instantánea debería transformar muchos flujos de trabajo.

Vishal Bhardwaj (traducido por Ninh Duy), Published 03/25/2024 🇺🇸 🇩🇪 ...

AI 3D Printing Nvidia Virtual Reality (VR) / Augmented Reality (AR)

Mientras que los modelos de IA generativa de imágenes y vídeos han dominado las noticias durante algún tiempo, NVIDIA ha dado un paso en la siguiente dirección lógica con LATTE3D, un nuevo modelo de IA generativa que convierte indicaciones de texto en modelos 3D completos en menos de un segundo. Anunciado en el Evento GTC de NVIDIA la semana pasadala tecnología se promociona como algo parecido a una "impresora 3D virtual", en el sentido de que puede servir instantáneamente modelos 3D "en un formato popular utilizado para aplicaciones de renderizado estándar", listos para ser implementados en el desarrollo de videojuegos, publicidad, proyectos de diseño o cualquier aplicación que requiera un entorno virtual, incluidas la RV y RA.

La IA generativa de texto a 3D no es una tecnología nueva, y el propio documento de investigación de NVIDIA https://research.nvidia.com/labs/toronto-ai/LATTE3D/ enfrenta a LATTE3D con varios sistemas existentes como MVDream, 3DTopia y LGM. Donde LATTE3D tiene una ventaja abrumadora es en la velocidad. En las pruebas comparativas, otros modelos de IA tardan entre 20 segundos y más de 30 minutos en generar un resultado, mientras que LATTE3D produce un renderizado comparable (y a menudo de mayor calidad) en apenas 400 milisegundos.

LATTE3D trabaja por separado en la geometría 3D y la textura para crear un modelo realista (Fuente de la imagen: NVIDIA)

La salida casi instantánea es lo que da a LATTE3D una ventaja sobre otros modelos de IA (Fuente de la imagen: NVIDIA)

Si se le da más tiempo, LATTE3D refina aún más el resultado (Fuente de la imagen: NVIDIA)

Cabe señalar que, al igual que con la impresión en 3D, la salida de LATTE3D y otros modelos de IA mejora en calidad a medida que se le da más tiempo. La ventaja es que, a diferencia de la impresión en 3D, uno puede optar por dar prioridad a la velocidad sobre la calidad al principio, y más tarde decidir esperar a obtener un resultado más refinado, en lugar de fijar los ajustes desde el principio.

Como cualquier otra IA generativa, LATTE3D tiene el potencial de transformar muchos flujos de trabajo. Mientras que antes había que rebuscar en una biblioteca de activos 3D o dedicar valiosas horas de trabajo para crear un simple objeto, con la tecnología de NVIDIA sólo es cuestión de teclear una breve descripción e importar el resultado generado a la aplicación o plataformas de software de cada uno.

Una muestra de lo que es capaz LATTE3D (Fuente de la imagen: NVIDIA)

Hasta ahora, el equipo de investigación sólo ha entrenado a LATTE3D para crear modelos de objetos cotidianos y animales, pero esto puede ampliarse a otras categorías con los conjuntos de datos adecuados. El modelo se entrenó utilizando GPU NVIDIA A100 Tensor Core y, en la demostración de la compañía, se ejecutó en una sola NVIDIA RTX A6000.

Como proyecto de investigación, LATTE3D está aún en fase de desarrollo y hasta ahora no se ha hablado de lanzarlo como producto o servicio. Los planes de futuro del proyecto incluyen la ampliación de la capacidad a "texto a 4D", o la generación de animaciones en 3D.

Explore entornos inmersivos de realidad virtual y mixta con los auriculares Meta Quest 3 y las gafas de realidad aumentada XREAL Air 2 Pro, ambos disponibles en Amazon.