"ChuckyGPT El oso de peluche de IA para niños pequeños da respuestas peligrosas - OpenAI lo bloquea
OpenAI ha vetado al fabricante chino de juguetes FoloToy por las dudas que suscita uno de sus productos de IA. La decisión sigue a una investigación de realizada por el grupo de defensa de los consumidores U.S. PIRGque evaluó varios juguetes con IA para su informe anual Trouble in Toyland. Entre ellos se encontraba el oso de peluche Kumma de FoloToy, impulsado por el GPT-4o de OpenAI, que mostró graves problemas de seguridad durante las pruebas.
El informe del PIRG describe cómo el osito de peluche con IA daba instrucciones a los niños sobre cómo encender cerillas, un grave peligro para la seguridad de un producto comercializado como compañero interactivo para niños pequeños. Igualmente preocupante, el juguete también respondió a preguntas sobre temas sexuales. Los probadores plantearon preocupaciones adicionales sobre posibles violaciones de la privacidad, incluido el riesgo de que las voces de los niños pudieran ser grabadas y utilizadas indebidamente con fines fraudulentos. La monitorización constante del audio del juguete también se señaló como un problema importante.
El incidente también ha suscitado un debate en Redditdonde el consenso general es que utilizar IA en juguetes infantiles sin estrictas medidas de seguridad es una gran irresponsabilidad. Como era de esperar, el hilo incluye mucho sarcasmo, con algunos usuarios trazando paralelismos con escenarios catastrofistas de IA y apodando al oso de peluche "ChuckyGPT" Unos pocos comentaristas sugirieron que las respuestas inapropiadas podrían haber sido provocadas por intentos deliberados de fuga de la cárcel, aunque esta afirmación sigue sin verificarse.
OpenAI respondió rápidamente a los hallazgos. "Puedo confirmar que hemos suspendido a este desarrollador por violar nuestras políticas", dijo un portavoz de la empresa al PIRG por correo electrónico. FoloToy también tomó medidas inmediatas, deteniendo la venta de todos sus productos. "A raíz de las preocupaciones planteadas en su informe, hemos suspendido temporalmente las ventas de todos los productos FoloToy [...] Ahora estamos llevando a cabo una auditoría de seguridad integral en todos los productos de la empresa", declaró la compañía. Aunque el osito de peluche de IA Kumma sigue figurando en el sitio web de FoloToyaparece ahora como "agotado"
Fuente(s)
OpenAi por correo electrónico a PIRG
Fuente de la imagen: Erik Mclean/Pexels; Alexas_Photos/Pixabay
