Cloudflare Block AI Bots’u kaldırdı: Disallow AI Training Googlebot için ne anlama geliyor

Cloudflare 15 Eylül 2026’da "Have it both ways: stay discoverable in search while disallowing AI training" başlıklı yazısını yayımladı ve ertesi gün müşterilerine e-posta gönderdi. Eski Block AI Bots anahtarı, daha ayrıntılı Search, Training ve Agent kontrolleri lehine kullanımdan kaldırılıyor. Managed Robots.txt de bu tercihleri bir zone’un robots.txt dosyasına yazan Bot Preference Sync lehine kaldırılıyor.

Agent, bir insan adına sayfa ziyaret eden kullanıcı yönlendirmeli ajanları kapsar; Cloudflare örnek olarak sohbet içinden sayfa çeken botları ve tarayıcı kullanan ajanları sayar. Her davranış dört ayardan birini alır.

• ·Allow: başka bir ayar ya da bir WAF kuralı engellemediği sürece tüm tarayıcılara izin verilir.
• ·Disallow AI Training, yalnızca Training için: Bot Preference Sync ilgili eğitim yasağı tercihini robots.txt’de yayımlar. Hesap verebilir (Accountable) çok amaçlı tarayıcılar arama için izinli kalır.
• ·Block on pages with ads: çok amaçlı tarayıcılar dahil tüm tarayıcılar yalnızca reklam gösterdiği tespit edilen sayfalarda engellenir.
• ·Block: çok amaçlı tarayıcılar dahil tüm tarayıcılar engellenir.

Gözden kaçmaması gereken geri dönüş

Cloudflare 1 Temmuz 2026’da, 15 Eylül’den itibaren Training’i engellemeyi seçen müşterilerin Googlebot, Applebot ve BingBot gibi çok amaçlı tarayıcıları da engelleyeceğini yazmıştı. Harfiyen okunduğunda eğitime izin vermemek aramadan kaybolmak demekti.

15 Eylül yazısı bu planın yerini alıyor. Cloudflare’e göre Apple, Google ve Microsoft hesap verebilir sayılma şartlarını karşılıyor; bu yüzden tarayıcıları arama için izinli kalıyor ve eğitim yasağı tercihini robots.txt üzerinden alıyor. Google için bu, Google-Extended’a yönelik bir Disallow kuralı demek; Google, Google-Extended’ın bir sitenin Google Arama’ya dahil edilmesini etkilemediğini belirtir. Diğer bütün eğitim tarayıcıları engelleniyor; Cloudflare bunun Amazon, Anthropic, Meta ve OpenAI’ın yalnızca eğitim amaçlı tarayıcılarını da kapsadığını söylüyor.

Bir boşluk kalıyor. Microsoft, robots.txt’deki eğitim yasağı tercihine destek geliştiriyor ve hedefi 2027’nin başı. O zamana kadar Disallow AI Training bu tercihi robots.txt üzerinden Bing’e iletmiyor.

Mevcut ayarlara ne oluyor

Cloudflare zone’ları eski Block AI Bots değerine göre otomatik olarak taşıyor:

• ·Disabled: Search Allow, Training Allow, Agent Allow olur.
• ·Block: Search Allow, Training Disallow AI Training, Agent Block on pages with ads olur.
• ·Block on pages with ads: Search Allow, Training Disallow AI Training, Agent Block on pages with ads olur.

Müşterilerin ne yapması gerektiği sorusuna Cloudflare’in cevabı: neredeyse her durumda hiçbir şey. Müşteri e-postası, taşımanın sonraki hafta boyunca yayılacağını, bu sürede yapılan manuel değişikliklerin korunacağını ve Block AI Bots anahtarı panelden kaybolduğunda taşımanın tamamlanmış olacağını ekliyor.

AI görünürlüğü için anlamı

• ·Arama tarayıcıları eğitim tarayıcısı değildir. OpenAI, OAI-SearchBot’un web sitelerini ChatGPT’nin arama özelliklerindeki sonuçlarda göstermek için kullanıldığını, GPTBot’un ise eğitimde kullanılabilecek içeriği taradığını belgeler. Perplexity, PerplexityBot’un AI temel modelleri için içerik taramadığını söyler. Eğitime izin vermemek AI aramasından çıkmakla aynı şey değildir.
• ·Disallow AI Training Google Arama’ya dokunmaz, çünkü Googlebot izinli kalır. Search Engine Journal, bir sitenin Yapay Zeka Bakışı, Yapay Zeka Modu ve Discover’ın üretken yapay zeka özelliklerinde görünüp görünmeyeceğini ayrı bir Search Console ayarının belirlediğini not eder.
• ·robots.txt bir duvar değil, bir ricadır. Cloudflare’in kendi dokümantasyonu robots.txt’ye uymanın gönüllü olduğunu söyler. Zorlama yalnızca Cloudflare’in bir tarayıcıyı kendi edge’inde engellediği yerde gerçekleşir.

On saniyelik kontrol

Bunların hiçbiri DNS only, yani gri bulut olarak ayarlanmış bir host adına ulaşmaz. Cloudflare bu kayıtlardaki istekleri optimize edemediğini, önbelleğe alamadığını ve koruyamadığını söyler; site nerede barındırılırsa barındırılsın edge kuralları bu trafiği hiç görmez.

curl -sI https://siteniz.com komutunu çalıştırın ve cf-ray başlığına bakın. Başlık varsa Cloudflare trafiğinize proxy yapıyordur: Security Settings’i açın ve her zone’da Search, Training ve Agent ayarlarını gözden geçirin. Yoksa Cloudflare istek yolunda değildir ve sizin için hiçbir şey değişmez.

16 Eylül 2026’da sekiz sitemizde çalıştırdık. Sekizi de cf-ray başlığı olmadan server: Netlify döndürdü ve hiçbirinin robots.txt dosyasında Cloudflare engeli yoktu. Değiştirilecek bir şey yok. Önce ölçün, sonra sonuca varın.

Sık sorulan sorular

Cloudflare artık Googlebot’u engelliyor mu?

Disallow AI Training seçtiğinizde hayır. Cloudflare bu ayarda Googlebot, Bingbot ve Applebot’u arama için izinli tutar ve eğitim yasağı tercihini robots.txt üzerinden iletir. Block ayarı farklıdır: çok amaçlı tarayıcılar dahil tüm tarayıcıları engeller, yani Training’de Block seçmek Googlebot’u yine de durdurabilir.

Cloudflare’de Disallow AI Training nedir?

Training kontrolünün bir değeridir. Bot Preference Sync robots.txt dosyanıza bir eğitim yasağı tercihi yazar, hesap verebilir çok amaçlı tarayıcılar arama için taramaya devam eder ve diğer bütün eğitim tarayıcıları Cloudflare’in edge’inde engellenir.

Block AI Bots anahtarına ne oldu?

Kullanımdan kaldırıldı. Cloudflare her zone’u eski değerine göre Search, Training ve Agent ayarlarına taşır; Block olan bir zone Search Allow, Training Disallow AI Training, Agent Block on pages with ads olur. Cloudflare’in müşteri e-postasına göre anahtar panelden kaybolduğunda taşıma tamamlanmıştır.

Bir şey değiştirmem gerekiyor mu?

Cloudflare’in kendi cevabı: neredeyse her durumda hiçbir şey. Önce Cloudflare’in sitenize proxy yapıp yapmadığını kontrol edin: cf-ray başlığı yoksa bu kontroller trafiğinize hiç dokunmaz. Proxy yapıyorsa ve AI görünürlüğü istiyorsanız Search ve Agent’ın Allow olduğunu doğrulayın.

AI eğitimine izin vermemek sitemi ChatGPT’den ya da Google Yapay Zeka Bakışı’ndan çıkarır mı?

Tek başına hayır. OpenAI, ChatGPT araması için OAI-SearchBot’u, eğitim için GPTBot’u kullanır; bunlar ayrı kararlardır. Googlebot izinli kalır ve Search Engine Journal, Yapay Zeka Bakışı’nın ayrı bir Search Console ayarıyla kontrol edildiğini not eder.

Cloudflare DNS kullanan, Netlify ya da Vercel’de barındırılan bir site etkilenir mi?

Yalnızca DNS kaydı proxy’liyse, yani turuncu buluttaysa. DNS only, yani gri bulutta istekler doğrudan barındırıcınıza gider ve Cloudflare’in bot kontrolleri onları hiç görmez.

Kaynaklar

• ·Cloudflare Blog, Have it both ways: stay discoverable in search while disallowing AI training, 15 Eylül 2026: https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
• ·Cloudflare Blog, Say it once: introducing Bot Preference Sync, 21 Ağustos 2026: https://blog.cloudflare.com/bot-preference-sync/
• ·Cloudflare Blog, Content Independence Day AI options, 1 Temmuz 2026: https://blog.cloudflare.com/content-independence-day-ai-options/
• ·Cloudflare Docs, Managed robots.txt: https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
• ·Cloudflare Docs, Proxy status: https://developers.cloudflare.com/dns/proxy-status/
• ·Google Search Central, Google common crawlers: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• ·OpenAI, Overview of OpenAI crawlers: https://developers.openai.com/api/docs/bots
• ·Perplexity, Perplexity crawlers: https://docs.perplexity.ai/guides/bots
• ·Search Engine Journal, Cloudflare lets sites disallow AI training without blocking Googlebot, 15 Eylül 2026: https://www.searchenginejournal.com/cloudflare-lets-sites-disallow-ai-training-without-blocking-googlebot/589559/