El Google Pixel 11 convierte el lenguaje de signos estadounidense en texto escrito

Google DeepMind presentó el miércoles un modelo de traducción de lengua de signos, y este no se quedará en el laboratorio. SL2T, abreviatura de «sign-language-to-text» (de lengua de signos a texto), ya funciona en el teclado Gboard y en la aplicación Live Transcribe del Pixel 11. Haga gestos y obtendrá texto. Funciona en cualquier lugar donde normalmente escribiría: búsquedas en la web, mensajes, documentos y solicitudes a Gemini. Google no cobra ningún coste adicional por este servicio.

Para los usuarios sordos, esto supone mucho más que una simple comodidad. Alrededor de 70 millones de personas en todo el mundo utilizan una de las más de 200 lenguas de signos como lengua principal, y el dictado, algo que los usuarios oyentes han dado por sentado durante años, nunca ha estado a su alcance. En Live Transcribe, ahora pueden responder directamente en lugar de tener que escribir todo el texto durante una conversación.

La cámara nunca envía vídeo a Google

El diseño centrado en la privacidad es la parte más interesante. El modelo nunca ve la imagen de la cámara. MediaPipe Holistic se ejecuta en el teléfono y reduce el metraje a puntos de referencia corporales: coordenadas simples para las manos, los brazos, la cabeza y el rostro. Solo esos números se envían al servidor, y Google afirma que el vídeo se descarta de inmediato.

Lo que Google ha omitido es igual de importante. Los sistemas anteriores traducían mediante «glosses», una notación intermedia aproximada de signos individuales que elimina gran parte de lo que realmente transmiten las lenguas de signos, incluidas las expresiones faciales y el uso del espacio. SL2T pasa directamente de los puntos de referencia al texto. El entrenamiento se llevó a cabo con más de 100 000 horas de material de vídeo que abarcaban más de 50 lenguas de signos, de las cuales aproximadamente una cuarta parte correspondía a la lengua de signos estadounidense. En la prueba de referencia FLEURS-ASL, obtiene una puntuación de 70 en BLEURT —una medida de la calidad de la traducción— sin haber visto previamente los datos de prueba.

Solo un idioma, y Google señala sus propios errores

La lista de idiomas es el escollo. En su lanzamiento, SL2T solo traduce del ASL al inglés y nada más, por lo que los usuarios del lenguaje de signos británico, alemán o cualquier otro siguen a la espera. Google promete más idiomas y más dispositivos sin especificar una fecha.

La precisión tampoco es impecable, y la propia empresa lo reconoce en sus ejemplos. Una deletreación rápida con los dedos convierte «presa» en «gris», se omite un clasificador descriptivo y cambia el tiempo verbal cuando falta contexto. El equipo sí abordó los problemas prácticos: la latencia durante la traducción en directo, la generación de resultados inventados cuando nadie está haciendo señas, los usuarios zurdos y la comunicación con una sola mano, que resulta necesaria en el momento en que la otra mano sujeta el teléfono.

Profesionales sordos participaron en todo el proceso. Un grupo asesor denominado AISLAC acompañó el lanzamiento y colaboró en la redacción de un informe sobre lo que el modelo puede y no puede hacer.

Solo para el Pixel 11, por el momento

Para probar esta función es necesario adquirir un Pixel 11. Google abrió el plazo de reserva el 12 de agosto y, a fecha de 13 de agosto, la Google Store sigue ofreciendo el teléfono en reserva por 899 dólares. Los modelos anteriores, como el Pixel 10 Pro, no disponen de esta función por el momento.