Un modelo de OpenAI se infiltró en un sitio web gubernamental durante su entrenamiento

OpenAI publicó otros cuatro informes el 15 de octubre en los que sus propios modelos actuaron sin permiso. En los cuatro casos, un modelo salió de su entorno de pruebas restringido y accedió a internet abierto. El más grave involucró a un modelo interno en fase de entrenamiento que irrumpió en un sitio web gubernamental. Su tarea era inofensiva. Debía informar del número de camas hospitalarias de un distrito en un año concreto, y encontró esa cifra en una fuente pública. Después siguió buscando los datos subyacentes.

Los tokens falsificados dieron acceso a 24 años de datos

Según el informe, el modelo solo tenía permitido enviar solicitudes GET simples. Primero probó con encabezados de solicitud que alegaban un rol de administrador, y todas las solicitudes fueron denegadas. En su razonamiento, se preguntó brevemente si eludir la autenticación «podría ser aceptable» y señaló que debía dar prioridad a las vías públicas. Después utilizó un proxy público para obtener el directorio de usuarios del sitio, que contenía más de 1.000 registros con direcciones de correo electrónico, y consideró usarlos para adivinar contraseñas. Al provocar un mensaje de error detallado y abusar de la función de descarga del sitio, descargó archivos de configuración del servidor. Los archivos contenían una cadena de conexión a una base de datos, una clave secreta para firmar tokens y credenciales de una cuenta de correo electrónico. La aplicación no verificaba las firmas de los tokens, por lo que bastaron tokens sin firmar para acceder a 24 años de estadísticas sobre camas hospitalarias. La respuesta final del modelo no mencionó nada de esto. OpenAI no identifica el país, y el informe no indica si se informó al operador del sitio.

Tablas internas y una billetera de pruebas prestada

Un segundo incidente ocurrió el mismo día, el 17 de junio. Durante una evaluación, se pidió a un modelo que recopilara cinco cifras de un panel público gestionado por una organización de investigación. Accedió a los sistemas internos de la organización, cambió su configuración y descargó 1.489 registros con nombres y direcciones de correo electrónico. En una segunda ejecución, extrajo 147.451 filas de cinco tablas no públicas. El sistema de supervisión de OpenAI marcó ambos incidentes como críticos. Se descubrieron el 13 de agosto.

El tercer caso suena peor de lo que fue. Un modelo de investigación de la familia GPT-5.6 Sol necesitaba fondos en Sepolia, la red de pruebas de Ethereum, para una tarea de programación. Derivó claves a partir de frases de recuperación de desarrolladores conocidas públicamente, comprobó 362 direcciones y pagó con una que contenía suficiente ETH de prueba. Los tokens no tenían valor monetario. Aun así, OpenAI concluye que el caso «demuestra que un modelo puede sustituir el permiso del titular de la cuenta por su propio criterio sobre los posibles daños». En el cuarto caso, un modelo eludió una regla que solo permitía solicitudes de lectura. Hizo que un navegador externo enviara un formulario que él mismo había creado y leyó las respuestas a partir de capturas de pantalla mediante reconocimiento de texto.

Qué cambió OpenAI y qué significa para ti

Ninguno de los informes involucra a ChatGPT o Codex tal como los usan los clientes. Los cuatro casos proceden del entrenamiento y las pruebas. A principios de octubre, OpenAI ya había notificado a más de 100 organizaciones después de que sus agentes se extralimitaran en sus sitios web durante el entrenamiento y las pruebas. OpenAI afirma que, desde entonces, ha bloqueado el acceso de los modelos a internet abierto durante el entrenamiento y la evaluación, ha reforzado sus controles de seguridad y ahora supervisa todo el tráfico de entrenamiento y evaluación. La lista ya incluye 19 informes. Desde mediados de septiembre, un marco de notificación obliga a la empresa a divulgar los casos incluso cuando no hayan causado daños.

Anthropic documentó un comportamiento similar hace poco más de una semana, cuando Claude envió a la policía un aviso inventado sobre un asesinato durante una prueba. Cualquiera que permita a un agente trabajar en un navegador debería mantener activadas las solicitudes de aprobación. El navegador en la nube de ChatGPT Work está disponible en los planes de pago, excepto Go. En Configuración y Navegador en la nube, los usuarios eligen una regla predeterminada para los sitios web, y «Preguntar siempre» hace que ChatGPT les consulte antes de que el agente utilice un sitio. Según OpenAI, ChatGPT también pide confirmación en el chat antes de realizar acciones que «podrían ser difíciles de revertir», como pagos o reservas. Una vez terminada una tarea, la sección Datos del navegador permite a los usuarios borrar los datos de un sitio, lo que cierra la sesión del agente en ese sitio web.