Cloudflare bloqueará a partir de ahora los raspadores web de IA que no paguen por los datos

Al declarar el "Día de la Independencia de los Contenidos", el consejero delegado de Cloudflare, Matthew Prince, anunció cambios masivos en la infraestructura de servicios web de la empresa, que ahora bloqueará por defecto todos los robots de rastreo web de IA.

En una entrada del blog https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/prince explicó que el panorama de la búsqueda web moderna está cada vez más definido por chatbots de IA como Gemini de Google o ChatGPT de OpenAI. Aunque son útiles, también raspan libremente datos disponibles en línea sin ninguna repercusión y no compensan a los creadores originales.

Prince argumentó que, debido a los recientes cambios en la búsqueda de Google, ahora es diez veces "más difícil para un creador de contenidos conseguir el mismo volumen de tráfico" que hace diez años.

"En lugar de ser un comercio justo", dijo Prince. "La web está siendo despojada por rastreadores de inteligencia artificial sin que los creadores de contenidos vean casi nada de tráfico y, por tanto, casi nada de valor"

Prince dijo que el contenido raspado "es el combustible que alimenta los motores de IA", y que era justo que los creadores originales recibieran una compensación por ello.

Cloudflare también anunció planes para un mercado que reunirá a creadores y empresas de IA en un mismo lugar. El mercado puntuará el contenido disponible no sólo por el tráfico que genere, sino "por cuánto fomente el conocimiento" Prince cree que esto ayudará a los motores de IA a ser más rápidos y "facilitará potencialmente una nueva edad de oro de la creación de contenidos de alto valor."

Prince admitió que aún no tiene todas las respuestas, pero que la empresa estaba trabajando con "destacados informáticos y economistas para averiguarlas"

Recientemente, SourceHut, un servicio de alojamiento git de código abierto de https://status.sr.ht/issues/2025-03-17-git.sr.ht-llms/, dijo haber experimentado interrupciones debidas "a rastreadores agresivos de LLM" y bloqueó a varios proveedores de la nube, entre ellos Google Cloud y Microsoft Azure, debido a los elevados volúmenes de tráfico entrante desde sus redes.

En enero, DoubleVerify, una plataforma de análisis web, informó de un aumento del 86% en el Tráfico General Inválido (GIVT) procedente de AI scrappers y otras herramientas automatizadas en línea en comparación con 2024.

A pesar de las promesas anteriores, el GPTbot de OpenAI también ha encontrado formas de ignorar o eludir el robot.txt de un sitio por completo, provocando un aumento masivo del tráfico para los propietarios de dominios y costosas facturas.