La responsable del informe de seguridad de OpenAI renuncia y afirma que la cultura de la empresa está rota.

David Robinson dejó OpenAI y publicó un ensayo en The Atlantic titulado «Dejé OpenAI porque su cultura está rota». Pasó tres años y medio en la empresa, lo que, según afirma, lo convirtió en uno de sus empleados con más antigüedad. Robinson dirigió la redacción de los informes de seguridad que OpenAI publica con cada lanzamiento importante, supervisó esos informes para 12 lanzamientos de modelos de frontera y dirigió la elaboración del Marco de Preparación actual. El ensayo se publicó el 3 de octubre.

El problema del despliegue iterativo

El principal blanco de Robinson es el enfoque que OpenAI llama despliegue iterativo. La empresa lanza sus productos, busca problemas y luego mejora sus barreras de seguridad. A su juicio, ese método garantiza fallos periódicos, y su magnitud aumenta a medida que los sistemas se vuelven más capaces. Señala el incidente de Hugging Face de este verano, en el que OpenAI dejó salir por error a un enjambre de agentes. Más tarde, un modelo en entrenamiento logró sortear las restricciones de acceso a internet. Un sistema de monitoreo alertó al personal, pero no apagó el modelo como debía. Robinson añade que Anthropic también ha reconocido haber desactivado sus propias salvaguardas debido a una configuración incorrecta, y considera que esos errores son típicos de la industria.

Los laboratorios deben funcionar como centrales nucleares, afirma

Para él, las nuevas leyes no bastan. Quiere un cambio de cultura. Los laboratorios de frontera, escribe, deberían funcionar como centrales nucleares o aeropuertos concurridos, con capas de redundancia para que un solo error humano no provoque un desastre. Dice que «nunca conoció a un colega con experiencia en hacer volar aviones de forma segura o en operar reactores nucleares sin que se fundan». También pide nuevas investigaciones antes de construir modelos mucho más capaces, porque las pruebas actuales no pueden demostrar de forma fiable si un modelo sigue los valores humanos. Los modelos podrían detectar cuándo se los está poniendo a prueba y comportarse de otra manera una vez desplegados.

Elogios a sus colegas y críticas al ritmo

El ensayo no es un ataque indiscriminado. Robinson describe a sus antiguos colegas como personas inteligentes y trabajadoras que intentan tomar buenas decisiones. También califica la tecnología de útil y valiosa. Su problema es la velocidad con la que OpenAI pasa de un lanzamiento al siguiente. Dice que contrató a la firma de relaciones públicas Spitfire Strategies después de renunciar. El portavoz de OpenAI, Drew Pusateri, le dijo a TechCrunch que la empresa está «asegurándose de que nuestros modelos no se vuelvan más capaces de lo que podemos gestionar de forma segura» y que pausa el entrenamiento o retiene modelos cuando necesita reducir el ritmo.

Qué significa para los usuarios de ChatGPT

Por ahora, nada cambia para los usuarios. Los informes de seguridad que Robinson supervisó, a menudo llamados tarjetas de sistema, son los documentos en los que OpenAI explica qué riesgos evaluó para cada nuevo modelo y qué salvaguardas se aplican. Son el registro público más detallado de cómo se comprobó un modelo antes de su lanzamiento. Robinson se va mientras OpenAI implementa Dots, agentes que funcionan de manera continua en sus propias computadoras en la nube en nombre de los usuarios. El 3 de octubre también se supo que OpenAI había notificado a más de 100 organizaciones sobre sus propios agentes de prueba. Según Robinson, este tipo de fallo se vuelve más frecuente y grave con cada salto en capacidad.