--- title: Cloudflare divide el control de los crawlers de IA en Search, Training y Agent canonical_url: https://tkmstudio.com/es/library/cloudflare-ai-crawler-controls-september-2026 language: es last_updated: 2026-09-16 organization: TKM Studio, AI Visibility & Adoption Studio, Madrid, trabajando en todo el mundo --- # Cloudflare divide el control de los crawlers de IA en Search, Training y Agent El 15 de septiembre de 2026 Cloudflare retiró su interruptor único Block AI Bots. Ahora cada web configura por separado Search, Training y Agent, y Google, Microsoft y Apple siguen permitidos para la búsqueda aunque la web prohíba el entrenamiento de IA. Qué cambia, a quién afecta y cómo comprobarlo, con las fuentes de los propios proveedores. El 15 de septiembre de 2026 Cloudflare publicó "Have it both ways: stay discoverable in search while disallowing AI training" y al día siguiente escribió a sus clientes. El antiguo interruptor Block AI Bots queda obsoleto "in favor of the more granular Search, Training, and Agent controls", y Managed Robots.txt se sustituye por Bot Preference Sync, la función que escribe estas preferencias en el robots.txt de cada zona. Agent cubre "user-directed agents visiting a page on behalf of a human, such as chat fetch bots and browser-use agents", es decir, los bots que abren una página cuando alguien lo pide en un chat y los agentes que navegan por el usuario. Cada comportamiento admite uno de cuatro valores. - Allow: "All crawlers are allowed, unless blocked by another setting or a WAF rule." Todos los crawlers entran salvo que otra regla los bloquee. - Disallow AI Training, solo para Training: "Bot Preference Sync publishes the applicable no-training preference in robots.txt. Accountable mixed-use crawlers remain allowed for search." El robots.txt pide no entrenar y los crawlers mixtos Accountable siguen entrando para la búsqueda. - Block on pages with ads: "Crawlers, including mixed-use crawlers, are blocked only on pages detected to be serving an ad." Solo se bloquea en las páginas con anuncios. - Block: "All crawlers, including mixed-use crawlers, are blocked." Se bloquea todo, incluidos los crawlers mixtos. ## El cambio de rumbo que conviene ver El 1 de julio de 2026 Cloudflare escribió que desde el 15 de septiembre "multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training". Leído al pie de la letra, prohibir el entrenamiento significaba desaparecer del buscador. El artículo del 15 de septiembre sustituye ese plan. Según Cloudflare, Apple, Google y Microsoft cumplen los requisitos para ser Accountable, así que sus crawlers siguen permitidos para la búsqueda y reciben la preferencia de no entrenamiento a través de robots.txt. En el caso de Google eso es una regla Disallow para Google-Extended, que según Google "does not impact a site's inclusion in Google Search". Todos los demás crawlers de entrenamiento se bloquean, y Cloudflare incluye entre ellos los crawlers dedicados solo a entrenamiento de Amazon, Anthropic, Meta y OpenAI. Queda una excepción. Microsoft está construyendo el soporte para la preferencia de no entrenamiento en robots.txt, "targeted for early 2027". Hasta entonces, Disallow AI Training no transmite esa preferencia a Bing a través de robots.txt. ## Qué pasa con la configuración actual Cloudflare migra las zonas de forma automática a partir del valor anterior de Block AI Bots: - Disabled pasa a Search Allow, Training Allow, Agent Allow. - Block pasa a Search Allow, Training Disallow AI Training, Agent Block on pages with ads. - Block on pages with ads pasa a Search Allow, Training Disallow AI Training, Agent Block on pages with ads. A la pregunta de qué deben hacer los clientes, Cloudflare responde: "Nothing, in almost every case." Es decir, casi nunca hace falta tocar nada. Su correo a los clientes añade que la migración se despliega durante la semana siguiente, que los cambios manuales hechos mientras tanto se respetan y que termina cuando el interruptor Block AI Bots desaparece del panel. ## Qué significa para la visibilidad en IA - Los crawlers de búsqueda no son los de entrenamiento. OpenAI documenta que OAI-SearchBot sirve para mostrar webs en los resultados de búsqueda de ChatGPT, mientras que GPTBot rastrea contenido que puede usarse para entrenar. Perplexity afirma que PerplexityBot "is not used to crawl content for AI foundation models", no se usa para entrenar modelos. Prohibir el entrenamiento no equivale a salir de la búsqueda con IA. - Disallow AI Training no toca la búsqueda de Google, porque Googlebot sigue permitido. Search Engine Journal recuerda que la aparición en AI Overviews, AI Mode y las funciones generativas de Discover se controla con un ajuste aparte en Search Console. - robots.txt es una petición, no un muro. La propia documentación de Cloudflare dice que su cumplimiento es voluntario ("robots.txt compliance is voluntary"). Solo hay bloqueo real cuando Cloudflare corta el paso a un crawler en su red. ## La comprobación de diez segundos Nada de esto alcanza a un dominio configurado como solo DNS, la nube gris. Para esos registros Cloudflare indica que no puede optimizar, cachear ni proteger las peticiones, así que sus reglas nunca ven ese tráfico, esté la web alojada donde esté. Ejecute curl -sI https://suweb.com y busque la cabecera cf-ray. Si aparece, Cloudflare hace de proxy de su tráfico: abra Security Settings y revise Search, Training y Agent en cada zona. Si no aparece, Cloudflare no está en el camino de la petición y para usted no cambia nada. Lo comprobamos en nuestras seis webs el 16 de septiembre de 2026. Las seis respondieron server: Netlify sin cabecera cf-ray, y ningún robots.txt llevaba un bloque de Cloudflare. No había nada que cambiar. Primero se mide, después se concluye. ## Fuentes - [Blog de Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training, 15 de septiembre de 2026](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) - [Blog de Cloudflare, Say it once: introducing Bot Preference Sync, 21 de agosto de 2026](https://blog.cloudflare.com/bot-preference-sync/) - [Blog de Cloudflare, Content Independence Day AI options, 1 de julio de 2026](https://blog.cloudflare.com/content-independence-day-ai-options/) - [Documentacion de Cloudflare, Managed robots.txt](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) - [Documentacion de Cloudflare, Proxy status](https://developers.cloudflare.com/dns/proxy-status/) - [Google Search Central, Google common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) - [OpenAI, Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots) - [Perplexity, Perplexity crawlers](https://docs.perplexity.ai/guides/bots) - [Search Engine Journal, Cloudflare lets sites disallow AI training without blocking Googlebot, 15 de septiembre de 2026](https://www.searchenginejournal.com/cloudflare-lets-sites-disallow-ai-training-without-blocking-googlebot/589559/) Revisa el acceso de los agentes: https://tkmstudio.com/es/services/agent-access-check