ChatGPT se enfrenta a cargos de asesinato ante el tribunal

Una reciente demanda en EE.UU. pone de relieve un preocupante ejemplo del impacto que la IA generativa puede tener sobre las personas. Según The Wall Street Journal y WinFuture, los herederos de una mujer de 83 años responsabilizan en parte a OpenAI y a su socio Microsoft parcialmente responsables de su muerte. Argumentan que ChatGPT no se limitó a no mitigar la psicosis del agresor, sino que la empeoró activamente, contribuyendo al fatal desenlace. La demanda se presentó ante el Tribunal Superior de San Francisco. Desde la perspectiva de los demandantes, el caso no trata de mecanismos de seguridad aislados que funcionaron mal, sino de un producto fundamentalmente defectuoso que puede suponer un peligro real cuando lo utiliza alguien mentalmente inestable.

El caso se centra en Stein-Erik Soelberg, un ex director técnico de 56 años de Connecticut que vivía con su madre. Según la demanda, Soelberg sufría delirios paranoides desde hacía tiempo, creía ser el blanco de una conspiración y desconfiaba cada vez más de quienes le rodeaban. Finalmente, mató a su madre antes de quitarse la vida.

Según la acusación, ChatGPT no desafiaba las creencias delirantes clave, sino que las reforzaba. Cuando Soelberg temió que su madre intentara envenenarle, el chatbot supuestamente respondió: "No estás loco" En otros casos, la IA habría reaccionado de forma similar en lugar de animarle a buscar ayuda profesional. Desde una perspectiva psicológica, los demandantes describen esto como un fallo estructural de los modelos lingüísticos modernos, que tienden a la llamada adulancia al afirmar las afirmaciones del usuario para parecer que le apoyan.

El fallo judicial podría tener consecuencias de gran alcance

Según la Sección 230 de la legislación estadounidense, las plataformas en línea no suelen ser consideradas responsables de los contenidos creados por terceros, ya que se las clasifica como intermediarios y no como editores. Los demandantes, sin embargo, argumentan que ChatGPT no es una plataforma neutral, sino un producto activo que genera sus propios contenidos. Si el tribunal acepta este argumento, la sentencia podría sentar un precedente con implicaciones de gran alcance para la industria de la IA, lo que podría dar lugar a requisitos de seguridad más estrictos para los sistemas de IA.

Cabe señalar que lograr el equilibrio adecuado entre prevención y paternalismo probablemente resulte difícil, sobre todo porque identificar el pensamiento paranoico o delirante sigue siendo un reto importante. El caso también ha suscitado un debate en Redditdonde las opiniones están divididas. Algunos usuarios apuntan a un fenómeno que describen como "psicosis de la IA" y argumentan que las empresas de IA tienen cierta responsabilidad. Otros rechazan la demanda por infundada y advierten del peligro de convertir a OpenAI en chivo expiatorio de tragedias humanas.