Cloudflare cambia cómo bloquear bots de IA: qué pasa con Googlebot si prohíbes el entrenamiento de IA

El 15 de septiembre de 2026 Cloudflare publicó "Have it both ways: stay discoverable in search while disallowing AI training" y al día siguiente lo comunicó por correo a sus clientes. El antiguo interruptor Block AI Bots "will be deprecated in favor of the more granular Search, Training, and Agent controls": desaparece en favor de tres controles más finos. Managed Robots.txt también queda obsoleto y lo sustituye Bot Preference Sync, la función que escribe estas preferencias en el robots.txt de cada zona.

Agent abarca los "user-directed agents visiting a page on behalf of a human, such as chat fetch bots and browser-use agents", es decir, los agentes que visitan una página por encargo de una persona, como los bots que consultan webs desde un chat o los agentes que manejan un navegador. Cada comportamiento admite uno de estos cuatro ajustes.

• ·Allow: "All crawlers are allowed, unless blocked by another setting or a WAF rule." Entran todos los crawlers, salvo que otro ajuste o una regla WAF los bloquee.
• ·Disallow AI Training, disponible solo en Training: "Bot Preference Sync publishes the applicable no-training preference in robots.txt. Accountable mixed-use crawlers remain allowed for search." Tu robots.txt declara que no quieres entrenamiento, y los crawlers de uso mixto que Cloudflare considera Accountable siguen pudiendo rastrear para búsqueda.
• ·Block on pages with ads: "Crawlers, including mixed-use crawlers, are blocked only on pages detected to be serving an ad." El bloqueo, también para los crawlers de uso mixto, se aplica solo en las páginas donde se detecta publicidad.
• ·Block: "All crawlers, including mixed-use crawlers, are blocked." Se bloquea a todos los crawlers, incluidos los de uso mixto.

El giro que conviene no pasar por alto

El 1 de julio de 2026 Cloudflare escribió que a partir del 15 de septiembre "multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training". Leído al pie de la letra, prohibir el entrenamiento equivalía a desaparecer de la búsqueda.

La entrada del 15 de septiembre sustituye ese plan. Según Cloudflare, "Apple, Google, and Microsoft all demonstrate that they meet the qualifications to be Accountable": los tres cumplen los requisitos, así que sus crawlers siguen entrando para búsqueda y reciben la preferencia de no entrenamiento a través del robots.txt. En el caso de Google eso se traduce en una regla Disallow para Google-Extended, que según la propia Google "does not impact a site's inclusion in Google Search", o sea, no afecta a tu presencia en Google Search. El resto de crawlers de entrenamiento queda bloqueado, y Cloudflare precisa que eso incluye los crawlers dedicados solo al entrenamiento de Amazon, Anthropic, Meta y OpenAI.

Queda un hueco. Microsoft está desarrollando el soporte para una preferencia de no entrenamiento en robots.txt, "targeted for early 2027", con fecha prevista a principios de 2027. Hasta entonces, Disallow AI Training no le transmite esa preferencia a Bing a través del robots.txt.

Qué pasa con la configuración que ya tienes

Cloudflare migra las zonas automáticamente a partir del valor que tenían en el antiguo Block AI Bots:

• ·Disabled pasa a Search Allow, Training Allow, Agent Allow.
• ·Block pasa a Search Allow, Training Disallow AI Training, Agent Block on pages with ads.
• ·Block on pages with ads pasa a Search Allow, Training Disallow AI Training, Agent Block on pages with ads.

¿Y qué tienen que hacer los clientes? Cloudflare responde: "Nothing, in almost every case." Nada, en casi todos los casos. En el correo a clientes añade que la migración se despliega a lo largo de la semana siguiente, que los cambios manuales que hagas mientras tanto se conservan y que el proceso ha terminado cuando el interruptor Block AI Bots desaparece del panel.

Qué significa para tu visibilidad en IA

• ·Un crawler de búsqueda no es un crawler de entrenamiento. OpenAI documenta que "OAI-SearchBot is used to surface websites in search results in ChatGPT's search features", es decir, que sirve para mostrar webs en la búsqueda de ChatGPT, mientras que GPTBot rastrea contenido que puede usarse para entrenar. Perplexity afirma que PerplexityBot "is not used to crawl content for AI foundation models": no rastrea contenido para modelos fundacionales. Prohibir el entrenamiento no equivale a salir de la búsqueda con IA.
• ·Disallow AI Training no toca Google Search, porque Googlebot sigue teniendo paso. Search Engine Journal recuerda que "a separate Search Console setting controls whether a site appears in AI Overviews, AI Mode, and Discover's generative AI features": aparecer en AI Overviews, AI Mode y las funciones generativas de Discover depende de otro ajuste, dentro de Search Console.
• ·El robots.txt es una petición, no un muro. La documentación de Cloudflare lo dice sin rodeos: "robots.txt compliance is voluntary." Cumplirlo es voluntario. Solo hay bloqueo real allí donde Cloudflare frena al crawler en su edge.

La comprobación de diez segundos

Nada de esto llega a un hostname configurado como DNS only, la nube gris. Para esos registros Cloudflare indica que "cannot optimize, cache, and protect those requests": no puede optimizar, cachear ni proteger esas peticiones. Sus reglas de edge nunca ven ese tráfico, esté la web alojada donde esté.

Ejecuta curl -sI https://yoursite.com y busca una cabecera cf-ray. Si aparece, Cloudflare hace de proxy de tu tráfico: entra en Security Settings y revisa Search, Training y Agent en cada zona. Si no aparece, Cloudflare no está en el camino de la petición y para ti no cambia nada.

Lo comprobamos en nuestras ocho webs el 16 de septiembre de 2026. Las ocho respondieron server: Netlify sin cabecera cf-ray, y ninguno de sus robots.txt llevaba un bloque de Cloudflare. No hay nada que cambiar. Primero se mide, después se concluye.

Preguntas frecuentes

¿Cloudflare bloquea ahora a Googlebot?

No, si eliges Disallow AI Training. Con ese ajuste Cloudflare deja pasar a Googlebot, Bingbot y Applebot para búsqueda y transmite la preferencia de no entrenamiento a través del robots.txt. Block es otra cosa: bloquea "all crawlers, including mixed-use crawlers", es decir, a todos los crawlers, incluidos los de uso mixto, así que poner Block en Training sí puede dejar fuera a Googlebot.

¿Qué es Disallow AI Training en Cloudflare?

Es uno de los valores del control Training. Bot Preference Sync escribe en tu robots.txt una preferencia de no entrenamiento, los crawlers de uso mixto considerados Accountable siguen rastreando para búsqueda y el resto de crawlers de entrenamiento se bloquea en el edge de Cloudflare.

¿Qué ha pasado con el botón Block AI Bots de Cloudflare?

Ha quedado obsoleto. Cloudflare migra cada zona a Search, Training y Agent según el valor que tenía, y una zona que estaba en Block pasa a Search Allow, Training Disallow AI Training, Agent Block on pages with ads. Según el correo de Cloudflare a sus clientes, la migración ha terminado cuando el interruptor desaparece del panel.

¿Tengo que cambiar algo en Cloudflare?

La respuesta de la propia Cloudflare es "Nothing, in almost every case": nada, en casi todos los casos. Antes comprueba si Cloudflare hace de proxy de tu web: si no hay cabecera cf-ray, estos controles nunca tocan tu tráfico. Si la hay y quieres visibilidad en IA, confirma que Search y Agent están en Allow.

¿Si prohíbo el entrenamiento de IA, mi web desaparece de ChatGPT o de los AI Overviews de Google?

No, por sí solo no. OpenAI usa OAI-SearchBot para la búsqueda de ChatGPT y GPTBot para el entrenamiento, así que son decisiones separadas. Googlebot sigue teniendo paso, y Search Engine Journal señala que los AI Overviews dependen de otro ajuste, en Search Console.

¿Me afecta si mi web está en Netlify o Vercel y uso el DNS de Cloudflare?

Solo si el registro DNS pasa por el proxy, la nube naranja. Con DNS only, la nube gris, las peticiones van directas a tu hosting y los controles de bots de Cloudflare nunca las ven.

Fuentes

• ·Blog de Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training, 15 de septiembre de 2026: https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
• ·Blog de Cloudflare, Say it once: introducing Bot Preference Sync, 21 de agosto de 2026: https://blog.cloudflare.com/bot-preference-sync/
• ·Blog de Cloudflare, Content Independence Day AI options, 1 de julio de 2026: https://blog.cloudflare.com/content-independence-day-ai-options/
• ·Documentación de Cloudflare, Managed robots.txt: https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
• ·Documentación de Cloudflare, Proxy status: https://developers.cloudflare.com/dns/proxy-status/
• ·Google Search Central, Google common crawlers: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• ·Documentación de OpenAI, Overview of OpenAI crawlers: https://developers.openai.com/api/docs/bots
• ·Documentación de Perplexity, Perplexity crawlers: https://docs.perplexity.ai/guides/bots
• ·Search Engine Journal, Cloudflare lets sites disallow AI training without blocking Googlebot, 15 de septiembre de 2026: https://www.searchenginejournal.com/cloudflare-lets-sites-disallow-ai-training-without-blocking-googlebot/589559/