--- title: robots.txt evet diyor, sunucunuz hayır diyor: AI tarayıcıları neden hâlâ reddediliyor canonical_url: https://tkmstudio.com/tr/library/robots-txt-allows-ai-crawlers-server-blocks language: tr last_updated: 2026-09-27 organization: TKM Studio, AI Visibility & Adoption Studio, Madrid, working worldwide --- # robots.txt evet diyor, sunucunuz hayır diyor: AI tarayıcıları neden hâlâ reddediliyor GPTBot, ClaudeBot ve PerplexityBot’a izin veren bir robots.txt bir kapı değil, bir ricadır. Kapı, CDN’iniz, güvenlik duvarınız ve bot korumanızdır; bunlar kendi başlarına karar verir. Bir evetin nerede hayıra dönüştüğü, bir alıcı soru sorarken sayfanızı açan ajanların neden en çok bu katmana bağlı olduğu ve her testin neyi kanıtlayıp neyi kanıtlayamayacağı. Bir AI tarayıcısının sayfanızı okuyup okumayacağına iki katman karar verir. robots.txt, tarayıcılardan ne yapmalarını istediğinizi söyler. Edge katmanınız, yani sunucunuzun önündeki CDN, web uygulaması güvenlik duvarı ve varsa bot koruması, her istekte gerçekte ne olacağına karar verir. Cloudflare’in kendi dokümantasyonu robots.txt’ye uymanın gönüllü olduğunu söyler. Tersi de doğrudur: Allow diyen bir robots.txt, edge katmanının hayır demesini engellemez. Çoğu site birinci katmanı kontrol eder, ikincisini varsayar. Sonuç: AI arama tarayıcılarını davet eden bir robots.txt ve önündeki sunucunun onları geri çevirmesi. Şirkette kimse bunu bilmez. ## Bir evetin hayıra dönüştüğü dört yer - CDN’de bir AI bot politikası. Cloudflare 1 Temmuz 2026’dan beri Search, Training ve Agent ayarlarını ayrı ayrı yapmaya izin veriyor ve 15 Eylül 2026’da tek Block AI Bots anahtarını kaldırdı. O tarihten itibaren, ücretsiz dahil her plandaki yeni alan adları, reklam gösteren sayfalarda Training ve Agent’ı engelleyen ve Search’e izin veren bir varsayılan ayarla gelir. Cloudflare, ChatGPT-User gibi sohbet sırasında sayfa açan botları Agent kategorisine koyar. Engel, robots.txt ne derse desin, edge’de uygulanır. - Sizin yazmadığınız bir robots.txt. Cloudflare’in yönetilen robots.txt özelliği, kendi dosyanızın önüne GPTBot, ClaudeBot ve Google-Extended gibi tarayıcılar için Disallow kuralları ekler. Bir tarayıcının aldığı robots.txt, deponuzdaki dosyadan farklı olabilir. - Genel bot koruması. Cloudflare Bot Fight Mode, bilinen bot kalıplarına uyan trafiğe doğrulama uygular ve WAF özel kurallarıyla atlanamaz. Dokümantasyonu doğrulanmış AI tarayıcılarının muaf olup olmadığını söylemez; muaf olduklarını varsaymayın. Vercel’in bot koruması doğrulanmış botları hariç tutar, ancak Vercel bunun Cloudflare gibi bir ters proxy’nin arkasında çalışmadığını belirtir. - Birinin eklediği kurallar. Netlify’ın User Agent Blocker eklentisi ya da Vercel’in AI botları kural seti gibi user agent engelleyiciler (ikisi de varsayılan olarak kapalıdır), güvenlik duvarındaki özel kurallar ve IP engelleri, robots.txt daha okunmadan devreye girer. ## Bir alıcı soru sorarken sayfanızı açan ajanlar AI şirketleri eğitim, arama dizini oluşturma ve bir kullanıcı sorduğu anda sayfa açma için ayrı ajanlar kullanır. Bu ajanların robots.txt karşısındaki davranışı aynı değildir. OpenAI, ChatGPT-User’ı bir kullanıcı tetiklediği için robots.txt kurallarının ona uygulanmayabileceğini söyler. Perplexity, Perplexity-User’ın robots.txt’yi genel olarak yok saydığını söyler. Anthropic, Claude-User dahil botlarının robots.txt’ye uyduğunu söyler. Bu üç şirketten ikisi için canlı sayfa açma isteğine güvenilir biçimde karar veren tek kapı edge’dir; canlı ajanlar aynı zamanda Cloudflare’in artık yeni alan adlarında, reklam gösteren sayfalarda varsayılan olarak engellediği kategoridir. Bu konuda en ileri giden Perplexity’nin dokümantasyonudur: site sahiplerinden yayımladığı IP aralıklarını WAF yapılandırmalarında kullanmalarını ve bunları otomatik olarak güncellemelerini ister. Perplexity’nin kendi rehberi, erişim kararını güvenlik duvarına yerleştirir. ## Google-Extended tuzağı Google-Extended, içeriğinizin gelecekteki Gemini modellerini eğitmek ve Gemini Apps ile Vertex AI’da yanıtları temellendirmek için kullanılıp kullanılmayacağını kontrol eder. Google, bunun Google Arama’ya dahil edilmeyi etkilemediğini ve bir sıralama sinyali olmadığını belirtir. Kendi user agent’ı yoktur: Google normal tarayıcılarıyla tarar. User agent’ta Google-Extended arayan bir güvenlik duvarı kuralı hiçbir şeyi yakalamaz. Ters yöndeki hata daha pahalıya patlar. Yapay Zeka Bakışı ve Yapay Zeka Modu, Arama kontrolleriyle yönetilir. Destekleyici bağlantı olarak görünmek için bir sayfanın dizine eklenmiş ve snippet ile gösterilmeye uygun olması gerekir. Googlebot’u engelleyen bir edge kuralı, sayfayı Arama’dan ve Yapay Zeka Bakışı’ndan birlikte çıkarır. ## Nasıl test edilir, her test neyi kanıtlar - Kodunuzdaki dosyayı değil, alan adınızdaki canlı robots.txt’yi çekin. Tarayıcıların ne aldığını, CDN’inizin eklediği her şey dahil gösterir. - Kilit sayfalarınızı AI user agent’larıyla ve normal bir web tarayıcısının user agent’ıyla isteyin, durum kodunu ve boyutu karşılaştırın. Bir fark, user agent üzerinde çalışan bir kuralı ortaya çıkarır. En hızlı test budur ve kendi kendinize koyduğunuz en yaygın engelleri yakalar. - Sınırını bilin. Dizüstü bilgisayarınızdan bir tarayıcının user agent’ıyla yapılan istek, o tarayıcı değildir. Edge platformları gerçek tarayıcıları yayımlanmış IP aralıkları, ters DNS ya da imzalı isteklerle doğrular; bu yüzden taklit edilmiş bir istek farklı muamele görebilir. 200 almak gerçek tarayıcının geçtiğini, 403 almak engellendiğini kanıtlamaz. - IP’ye ya da doğrulamaya dayalı kararlar için edge veya sunucu kayıtlarınızı okuyun ve şirketlerin yayımladığı IP aralıklarına göre filtreleyin: OpenAI, Perplexity ve Anthropic JSON listeleri yayımlar; Google tarayıcılarının IP aralıklarını ve bir ters DNS prosedürünü yayımlar. Cloudflare’de AI Crawl Control, her AI tarayıcısının isteklerini ve geçerli Allow ya da Block ayarını gösterir. - Google için Search Console’daki URL Denetleme aracı, Google’ın bir sayfayı tarayıp dizine ekleyip ekleyemediğini gösterir. ## Kendi sitemizde ne ölçtük 27 Eylül 2026’da tkmstudio.com/services/agent-access-check sayfasını dokuz kez istedik: bir kez Chrome user agent’ıyla, birer kez de GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot ve Perplexity-User ile. Dokuzu da 200 kodu ve aynı 32.668 baytlık yanıtı döndürdü. Yanıtta server: Netlify vardı, cf-ray başlığı yoktu; canlı robots.txt her tarayıcıya izin veriyor. Bunun kanıtladığı: bizim tarafımızda bu user agent’lara göre çalışan bir kural yok ve Cloudflare istek yolunda değil. Kanıtlamadığı: şirketin kendi IP aralığından gelen bir isteğe nasıl davranıldığı. O cevap kayıtlardadır. Önce ölçün, sonra yalnızca ölçümün desteklediğini söyleyin. ## Sık sorulan sorular ### robots.txt’im GPTBot’a izin veriyorsa CDN’im onu yine de engelleyebilir mi? Evet. robots.txt’yi tarayıcı okur ve gönüllü olarak uyar. CDN ya da güvenlik duvarı kuralı ise istek üzerinde, herhangi bir sayfa sunulmadan önce çalışır. Cloudflare’de Block olarak ayarlanmış bir AI bot politikası, robots.txt ne derse desin tarayıcıyı edge’de geri çevirir. ### Bir kullanıcı ChatGPT’den sayfamı açmasını istediğinde ChatGPT robots.txt’ye uyar mı? OpenAI, istek bir kullanıcı tarafından tetiklendiği için robots.txt kurallarının ChatGPT-User’a uygulanmayabileceğini söyler. Bu isteğin sayfanıza ulaşıp ulaşmayacağı robots.txt’ye değil, edge kurallarınıza bağlıdır. ### Google-Extended’ı engellemek sitemi Yapay Zeka Bakışı’ndan çıkarır mı? Hayır. Google, Google-Extended’ın Google Arama’ya dahil edilmeyi etkilemediğini belirtir. Yapay Zeka Bakışı ve Yapay Zeka Modu; Googlebot erişimi, noindex ve snippet ayarları gibi Arama kontrollerini izler. ### AI tarayıcı erişimini curl ile test edebilir miyim? Kısmen. Bir tarayıcının user agent’ıyla çalıştırılan curl, o user agent’a göre çalışan bir kural olup olmadığını gösterir. Tarayıcının IP adresine ya da doğrulamasına dayanan kararları yeniden üretemez, çünkü istek şirketin kendisinden gelmez. Bunlar için kayıtlarınızı şirketlerin yayımladığı IP aralıklarıyla karşılaştırın. ## Kaynaklar - [OpenAI, Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) - [Perplexity, Perplexity Crawlers](https://docs.perplexity.ai/guides/bots) - [Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Google Search Central, Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) - [Google Search Central, AI features and your website](https://developers.google.com/search/docs/appearance/ai-features) - [Google Search Central, Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests) - [Cloudflare Docs, Block AI bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) - [Cloudflare Changelog, New options to manage AI traffic, 1 July 2026](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) - [Cloudflare Blog, Your site, your rules: new AI traffic options for all customers, 1 July 2026](https://blog.cloudflare.com/content-independence-day-ai-options/) - [Cloudflare Docs, robots.txt setting](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) - [Cloudflare Docs, Bot Fight Mode](https://developers.cloudflare.com/bots/get-started/bot-fight-mode/) - [Vercel Docs, Bot Management](https://vercel.com/docs/bot-management) - [Netlify Docs, Block AI crawlers and bots](https://docs.netlify.com/build/build-with-ai/block-ai-crawlers/) Motorların sizi nerede bulduğunu görün: https://tkmstudio.com/tr/services/answer-share-audit