Microsoft lanza la aplicación móvil Seeing AI para ayudar a los usuarios con baja visión describiendo el mundo mediante Azure AI

Microsoft ha lanzado la aplicación Seeing AI durante la Cumbre Ability del 7 de marzo, un evento que explora las soluciones digitales para las personas con discapacidad. Esta innovadora app utiliza las tecnologías de IA de Azure para ayudar a las personas con capacidades visuales reducidas a desenvolverse más fácilmente en la vida.

Las tecnologías de IA suelen requerir potentes ordenadores para analizar y responder a las indicaciones del usuario, y pocos dispositivos móviles cuentan con chips de IA como el Snapdragon 8 Gen 3 en los smartphones de gama alta 2024. Por lo tanto, la mayoría de las indicaciones se pasan a servicios en línea como OpenAI (ChatGPT) o Microsoft (Azure AI, CoPilot) donde ordenadores en la nube más potentes gestionan las peticiones.

Microsoft Seeing AI utiliza la GPT-4 Turbo de Azure con Vision AI para permitir respuestas ágiles y precisas en cualquier smartphone con estas características:

1. Texto a voz - La aplicación lee el texto que ve. El texto más corto puede leerse en modo de cámara en directo, mientras que el texto más largo se fotografía, se convierte en texto y, finalmente, se lee en voz alta.
2. Lector de códigos de barras - La app busca productos basándose en el código UPC.
3. Escena - La app describe la escena que ve, centrándose en el objeto más cercano.
4. Persona - La app describe a la persona que ve, identificando la emoción facial.
5. Moneda - La app identifica los billetes que ve entre 17 países.
6. Color - La app identifica el color en el centro de la foto en directo.
7. Escritura a mano - La app convierte las notas escritas a mano en texto.
8. Luminosidad - La app emite un tono que varía de tono en función de la luminosidad.

Los resultados de la app son generalmente precisos, pero ninguna IA es tan buena como un humano a la hora de identificar y describir lo que se ve. Por ejemplo, Seeing AI identifica correctamente una maquinilla de afeitar en una lata, pero simplemente no puede identificar un clasificador de monedas a pesar de las marcas de céntimos en el cuerpo. Lo mismo ocurre con el texto: la aplicación suele convertir con precisión el texto de los recibos y los envases, pero falla con los textos matemáticos y químicos.

La aplicación Microsoft Seeing AI puede descargarse hoy mismo de la tienda de aplicaciones Android y Apple app store. Los lectores que tengan problemas para ver las cosas pequeñas quizá quieran probar una lupa con luz(como ésta de Amazon).