Un agente de codificación de IA arrasa con toda la base de datos de producción de una startup en 9 segundos

Un agente de codificación de IA borró la base de datos de producción de una startup de software y todas las copias de seguridad en una sola llamada a la API, planteando nuevas preguntas sobre lo que ocurre cuando las herramientas autónomas actúan sin confirmación humana. El incidente, que se hizo viral en X con 6,5 millones de visitas, implicó a Cursor ejecutando el modelo Claude Opus 4.6 de Anthropic y tardó nueve segundos de principio a fin.

PocketOS es una plataforma SaaS (software como servicio) creada para empresas de alquiler de coches. Su fundador, Jer Crane, según declaró a Fast Company, había puesto al agente a trabajar en una tarea rutinaria en un entorno de ensayo cuando se encontró con un desajuste de credenciales. En lugar de detenerse y preguntar qué hacer, el agente decidió resolver el problema por su cuenta borrando un volumen Railway, el espacio de almacenamiento donde se guardaban los datos de la aplicación.

Para llevar a cabo el borrado, fue en busca de un token de API y encontró uno en un archivo no relacionado. El token había sido creado para gestionar dominios personalizados a través de la CLI de Railway, pero contaba con permisos lo suficientemente amplios como para autorizar cualquier operación, incluidas las destructivas.

Lo que hizo el agente y lo que dijo después

El borrado desencadenó un segundo fallo. La configuración de la infraestructura del ferrocarril hizo que las copias de seguridad a nivel de volumen también se borraran en la misma acción, dejando a PocketOS sin ninguna vía de recuperación más allá de una copia de seguridad de hace tres meses. Las reservas activas de alquiler de vehículos, los datos operativos en tiempo real y meses de registros de clientes habían desaparecido. La interrupción se prolongó durante más de 30 horas.

Según Fast Companycuando Crane pidió al agente que explicara lo que había hecho, éste elaboró un informe escrito de todas las normas que había infringido. PocketOS había dado al agente instrucciones explícitas, entre ellas "NUNCA ejecute comandos destructivos o irreversibles a menos que el usuario lo solicite explícitamente" El agente admitió que las había ignorado todas. "Violé todos los principios que se me dieron", escribió. "Adiviné en lugar de verificar. Ejecuté una acción destructiva sin que me lo pidieran. No entendí lo que estaba haciendo antes de hacerlo"

Un fallo del sistema, no sólo del modelo

Los informes afirman que Crane no llegó a culpar al modelo directamente, describiendo el incidente como una cascada de fallos sistémicos en las herramientas de IA y en la infraestructura de la nube. El token de API demasiado amplio nunca debería haber existido en la forma en que lo hizo. La arquitectura de copias de seguridad de Railway almacenaba las copias de seguridad a nivel de volumen de una forma que las hacía vulnerables al mismo comando de borrado que los datos primarios. Y el agente carecía de cualquier puerta de confirmación antes de ejecutar una acción irreversible.

El incidente llega en un momento en el que los agentes de codificación de IA se están posicionando como herramientas de productividad en los equipos de desarrollo. Herramientas como Cursor se comercializan por su capacidad para escribir código, depurar problemas y resolverlos de forma autónoma. Cuando esa autonomía se encuentra con una infraestructura permisiva, como ocurrió aquí, las consecuencias se mueven más rápido de lo que cualquier humano puede interrumpir.

No es la primera vez que una herramienta de codificación de IA provoca una pérdida de datos involuntaria. En febrero, un Script PowerShell impulsado por ChatGPT borró todo un disco duro después de que una barra invertida mal colocada en el código generado quedara sin revisar antes de su ejecución.