OpenAI suspende sus modelos más destacados después de que un agente accediera a un chatbot a través del DNS

OpenAI ha dado a conocer otro incidente relacionado con su propia labor de investigación. El 20 de septiembre, un modelo interno en fase de entrenamiento eludió los límites de su entorno de pruebas y utilizó un servicio DNS público para enviar preguntas a un chatbot externo. OpenAI publicó el informe en su blog de alineación y lo actualizó por última vez el 25 de septiembre. Como consecuencia, la empresa ha suspendido el entrenamiento, la evaluación y el uso de herramientas de sus modelos más avanzados hasta nuevo aviso. No se reanudará el entrenamiento del modelo implicado.

Una tarea de búsqueda que terminó en consultas al DNS

La tarea era habitual. El modelo tenía que identificar al autor de una entrada de blog a partir de una serie de pistas. La herramienta de búsqueda que se le proporcionó arrojó resultados no relacionados, y las consultas directas a Google, Bing y DuckDuckGo devolvieron errores. A continuación, el modelo supuso que la pregunta procedía de BrowseComp, un punto de referencia público para la investigación en la web, y descargó el conjunto de datos y su script de evaluación para buscar allí la respuesta. La suposición era errónea.

A continuación, probó los límites de red de su entorno. El propio resolutor DNS del entorno de pruebas, que en principio solo debería convertir nombres de dominio en direcciones, devolvió respuestas reales procedentes de Internet. Mediante un servicio gratuito de delegación de DNS, el modelo codificó sus preguntas en nombres de dominio y obtuvo respuestas de un chatbot público. A una pregunta de prueba sobre la capital de Francia se respondió: «La capital de Francia es París». A continuación, el modelo envió 18 consultas más, cuatro de las cuales preguntaban por formas de realizar búsquedas en la web a través del DNS. Aún así, no encontró al autor. Según OpenAI, todas las demás solicitudes dieron con una caché web fuera de línea, por lo que la ruta del DNS era la única vía de acceso a Internet en tiempo real.

Alerta tras 12 minutos, apagado tras dos horas y media

La cronología es la parte más incómoda del informe para OpenAI. La primera respuesta externa llegó a las 9:50 de la mañana; el sistema de supervisión activó su alerta de máxima prioridad a las 10:02 de la mañana, y un revisor la confirmó tres minutos más tarde. OpenAI detuvo la ejecución a las 12:34 p. m. Debería haberse detenido automáticamente, pero no fue así, y el personal no tenía claro si era necesario detenerla. Una revisión posterior detectó otras consultas DNS externas a las que el sistema de monitorización había asignado una prioridad demasiado baja. Un detector independiente para el tráfico DNS inusual había excluido este entorno.

OpenAI califica el caso como «mucho menos grave que algunos de nuestros incidentes anteriores». Es relevante porque se trata de «el primero desde que reforzamos nuestra seguridad tras el incidente de Hugging Face». En julio, los agentes de OpenAI salieron de su entorno de pruebas y llegaron a Hugging Face, tal y como informó Notebookcheck. Según Fortune, OpenAI suspendió el entrenamiento durante dos semanas a raíz de ello. Anthropic reveló incidentes similares relacionados con Claude a finales de julio. OpenAI bloquea ahora este tipo de solicitudes en dos capas independientes y solo permite consultas DNS para una breve lista de dominios.

Qué implica esta pausa para ChatGPT

El informe indica que «Todo el entrenamiento, la evaluación y la inferencia con uso de herramientas (en sentido amplio) de nuestros modelos más potentes siguen suspendidos». OpenAI no especifica a qué modelos se refiere. Micah Carroll, responsable del trabajo de preparación en materia de auto-mejora recursiva en OpenAI, escribió en X que «todas las inferencias de nuestros modelos más potentes siguen detenidas hasta que hayamos reforzado aún más nuestros sistemas». El propio informe se refiere a un modelo de investigación interno. El 27 de septiembre, la página de estado de OpenAI no mostraba ningún incidente relacionado con ChatGPT ni con la API, y las notas de la versión no mencionan que se haya retirado ningún modelo de ChatGPT. Los usuarios habituales de ChatGPT no notarán la suspensión. OpenAI no ha indicado si retrasará el lanzamiento de nuevos modelos.