Qualcomm muestra la IA generadora de arte para smartphones con Smart Diffusion en el dispositivo

Stable Diffusion en funcionamiento en un smartphone. (Fuente: Qualcomm)

Qualcomm AI Research informa de que ha realizado una versión en el dispositivo de un conversor generativo de texto a imagen de IA que funciona en los smartphones Android. Para ello se utilizó el motor de IA del fabricante y el procesador Hexagon que forma parte del nuevo SoC Snapdragon 8 Gen 2, y el resultado fue el ejemplo más rápido de generación de imágenes mediante IA en un dispositivo móvil hasta la fecha.

Deirdre O'Donnell, Published 02/24/2023 🇺🇸 🇫🇷 ...

AI Android Smartphone Software

La difusión estable es una IA que "codifica una enorme cantidad (1.000 millones de parámetros o más) de conocimientos sobre el habla y las imágenes" para generar una imagen fotorrealista basada en cualquier descripción textual en unos 100 segundos o menos. Se trata, pues, de una nube-en la nube, por lo general. El grupo de investigación de IA de Qualcomm afirma haberlo conseguido trabajando en un dispositivo móvil basado en el nuevo buque insignia Snapdragon 8 Gen 2 buque insignia.

El vicepresidente de ingeniería de la compañía, el Dr. Jilei Hou, afirma que esto es posible gracias a avances como el Qualcomm AI Stackel AI Model Efficiency Toolkit (AIMET) y el Motor de IA, que permitieron al grupo tomar una versión convencional de Stable Diffusion en la plataforma FP32 y convertirla "mediante cuantificación, compilación y aceleración por hardware Imagination introduces IMG DXT mobile GPU with ray tracing scalable for all smartphone price points" en un formato 'compacto' de datos INT8-para el procesador Procesador Hexagon.

Al parecer, esto permitió a la referencia smartphone de referencia utilizar su nuevo modelo para representar la entrada "Super cute fluffy cat warrior in armor, photorealistic, Hisense 90L5H 4K Smart Laser TV has just arrived 4K,ultra detailed, vray rendering, unreal engine" en forma de imagen (subjetivamente) precisa a lo largo de 20 pasos de inferencia en 14,42 segundos - el más rápido en un smartphone hasta la fecha, y "comparable a la latencia de la nube" (según Qualcommal menos).

Además, se prevé que el proceso se realice totalmente en el dispositivo, lo que el Dr. Hou considera ventajoso en términos de independencia de la conectividad, fiabilidad, velocidad y, posiblemente lo más importante, privacidad. El vicepresidente también destaca otras posibles aplicaciones de esta IA en el dispositivo, como la edición de imágenesla mejora de la resolución, el cambio de estilo y mucho más.

Por otra parte, el Dr. Lou también indica que realmente deberían entrar en vigor "con el next-gen Snapdragon"; por lo tanto, es posible que haya que esperar hasta 2024 como mínimo para un Android dispositivo que pueda actuar como máquina generadora de arte por sí mismo sin necesidad de Internet.

Comprar un Samsung Galaxy S23 Ultra en Amazon