Un nuevo sistema traduce gestos específicos del individuo en habla para las personas con comunicación limitada

Un equipo de investigadores de la Universidad Estatal de Pensilvania ha desarrollado un prototipo de sistema que utiliza sensores vestibles e inteligencia artificial para convertir los gestos en habla. Este sistema convierte en habla los movimientos corporales propios de cada persona, lo que lo diferencia de los sistemas genéricos.

Este nuevo enfoque -publicado en la revista Augmentative and Alternative Communication- está diseñado para ayudar a las personas con deficiencias motoras o visuales a comunicarse de forma más independiente y eficaz. La innovación clave de este sistema es la personalización a nivel individual.

A diferencia de los sistemas convencionales de gesto a habla entrenados a partir de grandes conjuntos de datos, el sistema está diseñado para aprender movimientos idiosincrásicos, es decir, gestos que tienen un significado específico propio de cada persona. Esto permite que la tecnología se adapte a los movimientos específicos que al usuario le resulta fácil hacer, reduciendo así la tensión física del usuario.

El sistema funciona haciendo que una persona lleve un sensor en la muñeca y repita un gesto unas tres veces. Mediante un algoritmo de IA, mide las características del movimiento del gesto, aprendiendo su patrón único. A continuación, este patrón o gesto se asigna a una frase hablada como "ven aquí" o "para". Una aplicación para smartphone conectada pronuncia la frase en voz alta cada vez que el usuario hace el gesto.

El equipo trabajó estrechamente con personas que tenían limitaciones en el habla durante el desarrollo. Una participante destacada fue Emma Elko, que padece una discapacidad visual cortical. El sistema aprendió con éxito sus gestos personales, lo que le permitió comunicarse sin la ayuda de su madre, su principal interlocutora.

Los investigadores afirman que el siguiente paso es probar el prototipo con más personas para perfeccionar su capacidad de distinguir entre gestos similares e ignorar los movimientos involuntarios. También planean añadir cámaras al sensor existente, para conseguir un mayor nivel de precisión.