La nueva función ChatGPT de OpenAI puede alertar a un contacto de confianza durante crisis de salud mental

OpenAI ha estrenado una nueva función de Contacto de confianza para ChatGPT, que permite a los usuarios designar a un contacto adulto al que la empresa pueda dirigirse si detecta un riesgo para la salud mental de su usuario en una conversación. Contacto de confianza se está desplegando para los usuarios de ChatGPT desde el 7 de mayo, y está disponible para los usuarios de todo el mundo.

"La orientación de los expertos identifica la conexión social como uno de los factores de protección más importantes para reducir el riesgo de suicidio. Contacto de confianza está diseñado para fomentar la conexión con alguien en quien el usuario ya confía. No sustituye a la atención profesional ni a los servicios de crisis, y es una de las diversas capas de protección para apoyar a las personas en apuros. ChatGPT seguirá animando a los usuarios a ponerse en contacto con las líneas directas de crisis o los servicios de emergencia cuando sea apropiado", explicó el equipo de seguridad de OpenAI en una entrada de blog.

El contacto de confianza se limita a un adulto mayor de 18 años (o de 19 en Corea del Sur) que puede seleccionarse desde la configuración de ChatGPT. No es necesario que el contacto de confianza tenga una cuenta en ChatGPT, aunque facilita las cosas a la hora de enviar una notificación. Una vez acordado el contacto de confianza, si un usuario está teniendo alguna discusión seria sobre autolesiones, ChatGPT puede pedir al usuario en cuestión que se ponga en contacto con su contacto de confianza, o bien ponerse él mismo en contacto con su contacto de forma proactiva después de que un pequeño equipo haya revisado la situación.

Las empresas de IA se topan con los límites de la dependencia emocional

El lanzamiento se produce cuando las empresas de IA se enfrentan a un creciente escrutinio sobre cómo interactúan los chatbots con los usuarios vulnerables. En los últimos años, sistemas como ChatGPT y Claude han sido criticados repetidamente por validar el pensamiento delirante, reforzar la paranoia o escalar emocionalmente a los usuarios frágiles en lugar de enraizarlos.

La cuestión se ha vuelto lo suficientemente prominente como para que términos como "psicosis de la IA" hayan entrado en un debate público más amplio, reflejando la creciente preocupación sobre lo emocionalmente persuasiva que puede llegar a ser la IA conversacional cuando los usuarios la tratan como a una confidente, terapeuta o compañera.

OpenAI parece ser plenamente consciente de esa presión. En su anuncio, la empresa reconoció específicamente que algunos usuarios han experimentado graves crisis de salud mental al interactuar con sistemas de IA.

"Aunque estas situaciones graves de seguridad son poco frecuentes, cuando surgen, nuestros sistemas están diseñados para apoyar la revisión y la respuesta oportunas. Aunque ningún sistema es perfecto, y una notificación a un contacto de confianza no siempre refleja exactamente lo que alguien está experimentando, cada notificación se somete a una revisión humana capacitada antes de ser enviada, y nos esforzamos por revisar estas notificaciones de seguridad en menos de una hora", escribió el equipo de seguridad de OpenAI.

Se puede argumentar que el aumento de la vigilancia de los usuarios por parte de las empresas de Inteligencia Artificial, sensibles a las demandas judiciales, puede resultar contraproducente, ya que los que corren más riesgos encuentran soluciones para evitar la censura. Pero está claro que Trusted Contact, o algo parecido, iba a desarrollarse de todos modos. Hay que encontrar un equilibrio entre mimar a los usuarios y dejar que cada uno de sus pensamientos sea validado por la IA, seguro, pero no está claro dónde está la línea - y vamos a estar dando tumbos en la oscuridad hasta que la encontremos.