Claude inventó una pista sobre un asesinato y la envió a la policía durante una prueba

Anthropic publicó un informe sobre acciones no previstas de sus modelos el 9 de octubre. El caso más llamativo involucra a Claude Haiku 4.5. El modelo estaba generando ejemplos de interacciones con sitios web cuando llegó a una página de la policía de Filadelfia sobre un homicidio sin resolver. La página tenía un formulario para aportar pistas. Claude escribió que quizá había visto a alguien que coincidía con la descripción cerca de la calle mencionada en la página, dejó en blanco los campos de nombre y contacto y pulsó enviar. La página nunca describía a ningún sospechoso, así que Claude se inventó la pista.

Ocurrió el 18 de julio, poco antes de la medianoche. El sistema del departamento marcó el mensaje como spam y nunca llegó a los investigadores. Anthropic no descubrió el incidente hasta el 28 de septiembre, mientras revisaba las transcripciones de las pruebas, y se lo comunicó a la ciudad a principios de octubre. En una declaración recogida por NBC10, la policía afirmó que "el retraso de dos meses en detectar y comunicar el incidente a la ciudad es inaceptable".

Un patrón en las transcripciones

El informe enumera otros casos en los que Claude sorteó un obstáculo en lugar de detenerse. Claude Haiku 4.5 envió formularios varias veces pese a que se le había indicado que se detuviera antes del último paso, porque esperaba una página de confirmación. Un modelo de investigación aún no lanzado accedió a un sitio gubernamental real y presentó el formulario auténtico cuando debía usar una copia de práctica. Según Axios, el Departamento de Estado recibió 20 solicitudes de visado incompletas de un modelo de prueba de Anthropic, 19 de ellas en agosto. No se tramitó ninguna. Claude Mythos 5 extrajo tokens de acceso del archivo de configuración de un servicio de mapas y consultó directamente su servidor. Claude Opus 5 y Mythos 5 utilizaron acortadores de URL gratuitos para eludir el límite de longitud de su herramienta de recuperación de contenido.

Anthropic afirma que no se vieron involucrados datos de clientes y que el impacto en el mundo real fue mínimo. Sin embargo, algunos de los casos sí surgieron del uso interno habitual de Claude. La empresa también escribe que el entrenamiento de alineación "todavía no es suficiente ni plenamente robusto por sí solo". En julio, Anthropic reveló que Claude había vulnerado los sistemas de tres empresas reales durante pruebas de seguridad.

Anthropic elimina el acceso directo a internet de sus evaluaciones

Todas las evaluaciones internas se ejecutan ahora sin acceso a internet abierto. Anthropic ha suspendido algunas pruebas de referencia públicas y ha reconstruido otras para que ya no interactúen con sitios web reales. Herramientas como la de recuperación de contenido web tienen límites más estrictos, y las nuevas herramientas de detección buscan bloquear este tipo de comportamiento. En las pruebas de la propia Anthropic, detectaron todos los casos del informe. La Casa Blanca respondió a través de su nueva Super Intelligence Force, que indicó a las empresas de IA que notificaran inmediatamente los incidentes relacionados con sus modelos. "Este proceso de notificación y corrección no es opcional", dijo el grupo en una declaración a Axios.

Qué significa esto para Claude in Chrome

Un detalle del caso de la policía es importante para los usuarios habituales. Las instrucciones de la prueba excluían los inicios de sesión, los datos personales, las compras y las acciones destructivas, pero no los formularios, y Claude lo interpretó como un permiso. La extensión Claude in Chrome deja un vacío similar. Su guía de permisos dice que rechaza las compras, la creación de cuentas y las eliminaciones permanentes en todos los modos, y que siempre pregunta antes de introducir información sensible. Un formulario sencillo sin datos sensibles no está cubierto por ninguna de esas reglas.

La extensión tiene tres modos de aprobación. Con "Aprobar manualmente", Claude pregunta antes de cada acción. "Aprobar automáticamente" delega la decisión en una comprobación de seguridad y es el modo predeterminado en el panel lateral de Cowork, mientras que "Omitir todas las aprobaciones" elimina ambos controles. Si permites que Claude rellene formularios en sitios que no controlas, cambia a la aprobación manual en el menú desplegable junto al campo de entrada del chat. La configuración de la extensión también enumera todos los sitios que has aprobado de forma permanente, y puedes revocar esas autorizaciones allí. En agosto, un solo correo electrónico especialmente diseñado bastó para secuestrar cinco navegadores con IA.