Cloudflare reemplaza su bloqueo general de bots de IA con controles granulares para búsqueda, entrenamiento y crawlers de agentes

Cloudflare introduce controles selectivos para bots de IA

La gestión de bots de inteligencia artificial en internet ha dado un giro importante. Cloudflare abandona su sistema de bloqueo total y ofrece ahora a todos sus clientes la capacidad de controlar de forma independiente qué tipos de bots pueden acceder a sus sitios web.

¿Qué ha pasado?

Cloudflare ha implementado un sistema de controles granulares de bots de IA disponible para todos sus clientes, independientemente del plan que tengan contratado. La nueva funcionalidad permite gestionar por separado tres categorías distintas de bots: Búsqueda (search crawlers como los de Google o Bing), Entrenamiento (bots que recopilan datos para entrenar modelos de IA) y Agentes (sistemas autónomos de IA que navegan por la web).

Esta actualización sustituye el anterior sistema de bloqueo general que impedía el acceso a todos los bots de IA sin distinción. Los administradores web pueden ahora decidir qué categorías permitir o bloquear según sus necesidades específicas.

La novedad más significativa es que a partir del 15 de septiembre de 2026, Cloudflare bloqueará por defecto los bots de las categorías Entrenamiento y Agentes en páginas que contengan publicidad. Esta medida busca proteger los ingresos publicitarios de los propietarios de sitios web frente a bots que consumen contenido sin generar impresiones publicitarias válidas.

Por qué importa

Este cambio transforma radicalmente la forma en que los propietarios de sitios web pueden gestionar su contenido frente a la IA. Hasta ahora, la decisión era binaria: permitir todos los bots o bloquearlos todos. Con los controles granulares, un medio de comunicación puede permitir que Google indexe su contenido para aparecer en resultados de búsqueda, mientras bloquea simultáneamente bots que extraen información para entrenar modelos de lenguaje comerciales.

El bloqueo por defecto de bots de Entrenamiento y Agentes en páginas con publicidad representa un punto de inflexión en el debate sobre monetización del contenido web. Los sitios que dependen de ingresos publicitarios podrán protegerse automáticamente de crawlers que consumen su contenido sin contribuir a sus modelos de negocio.

Para desarrolladores de IA y empresas que operan bots, esto significa mayor transparencia pero también potenciales restricciones. Deberán identificar claramente sus bots y respetar las configuraciones establecidas por cada sitio web. Para editores y creadores de contenido, supone recuperar control sobre cómo se utiliza su información en el ecosistema de inteligencia artificial.

Contexto

El debate sobre el acceso de bots de IA al contenido web se ha intensificado en los últimos dos años. Empresas como OpenAI, Anthropic y Google han enfrentado críticas por entrenar sus modelos con contenido protegido por derechos de autor sin compensación a los creadores.

Cloudflare introdujo por primera vez su bloqueo general de bots de IA en respuesta a estas preocupaciones, pero recibió críticas por su falta de flexibilidad. Otros proveedores de seguridad web han explorado soluciones similares, pero Cloudflare es el primero en ofrecer controles tan detallados de forma universal.

La fecha límite de septiembre de 2026 indica una transición gradual, dando tiempo a que tanto propietarios de sitios como operadores de bots se adapten al nuevo sistema antes de que el bloqueo por defecto entre en vigor.

---