Cloudflare /crawl artık Content Signals’ı uyguluyor: use=reference ve ai-train=no ne yapar

31 Ağustos’ta ne değişti

Browser Run, Cloudflare’in barındırılan tarayıcı hizmetidir; eski adı Browser Rendering’di ve 15 Nisan 2026’da değişti. 10 Mart 2026’da beta olarak açılan /crawl uç noktası bir başlangıç URL’si alır ve oluşturulmuş sayfaları HTML, Markdown ya da yapılandırılmış JSON olarak döndürür.

31 Ağustos’tan beri uç nokta, taramadan önce sitenin Content-Signal satırını okuyor. Çağıran taraf iki şey beyan eder:

• ·contentUse: taranan içeriği hangi düzeyde kullanmayı amaçladığınız. İzin verilen değerler, en kısıtlayıcıdan en serbeste, reference ve full; varsayılan full.
• ·crawlPurposes: uç nokta varsayılan olarak üç amacın üçünü de beyan eder: search, ai-input ve ai-train.

Sitenin tercihleri beyandan daha katıysa istek en başta 400 koduyla ve "Crawl disallowed by Content-Signal directive (purpose or use level)" mesajıyla reddedilir. use=reference ayarlı bir site contentUse reference’ı kabul eder, varsayılan full’ü reddeder. use=immediate ayarlı bir site her taramayı reddeder. Content-Signal satırı olmayan bir site normal şekilde taranır. robots.txt Disallow kuralları URL bazında uygulanmaya devam eder ve "disallowed" durumuyla bildirilir.

Varsayılan istekler neden birçok sitede artık başarısız oluyor

Cloudflare’in yönetilen robots.txt özelliği, onu kullanan zone’lar için şu bloğu yazar: User-Agent: *, ardından Content-signal: search=yes, ai-train=no, use=reference, ardından Allow: /.

Varsayılan bir /crawl isteği ai-train ve full beyan eder; bu yüzden bu blokla iki kez çakışır, bir kez amaçta ve bir kez kullanım düzeyinde. Böyle bir siteyi taramak için çağıranın contentUse reference göndermesi ve crawlPurposes’ı daraltması gerekir, örneğin yalnızca search.

Ne anlama gelmiyor

• ·use direktifi hâlâ bir test. Cloudflare’in dokümantasyonu, Content Signals’a isteğe bağlı bir uzantı olan content-use’u test ettiğini söylüyor. Direktif 1 Temmuz 2026’da üç düzeyle tanıtıldı: immediate, etkileşime gir ama hiçbir şeyi saklama ve yeniden kullanma; reference, dizine ekle, alıntıla ve kaynağa bağlantı ver, varsayılan düzey budur; full, özetle ve yeniden üret.
• ·Diğer tarayıcılar katılmadı. Search Engine Roundtable 6 Temmuz 2026’da, Google’dan John Mueller’in bu direktifin hiçbir tarayıcı ya da LLM için hiçbir etkisi olmadığını söylediğini aktardı. OpenAI, Anthropic ya da Perplexity’den buna uyacağına dair kamuya açık bir taahhüt bulamadık.
• ·Standart süreci farklı kelimeler kullanıyor. IETF AI Preferences sözlük taslağının 14 Eylül 2026 tarihli 08 sürümü AI Training, AI Use ve Search kategorilerini tanımlıyor ve içeriğinin Çalışma Grubu’nun uzlaşısını yansıtmadığını belirtiyor.

AI görünürlüğü için anlamı

Content Signals bugün tek bir uygulayıcının saygı gösterdiği bir tercih. use=reference ya da ai-train=no satırı Cloudflare’in /crawl müşterilerini durdurur. Bulduğumuz kanıtlara göre ChatGPT, Gemini ya da Claude’un yaptığını değiştirmez. AI motorlarının sizi kaynak göstermesini istiyorsanız bunu belirleyen hâlâ hangi tarayıcıları içeri aldığınız, robots.txt’de ve edge’inizde, ve geldiklerinde ne bulduklarıdır.

robots.txt dosyanızda sizin yazmadığınız bir Content-Signal satırı varsa Cloudflare’in yönetilen robots.txt özelliğinden geliyor olabilir. Okuyun ve yalnızca sizin seçtiğiniz politikaysa tutun.

16 Eylül 2026’da sekiz sitemizi kontrol ettik. Hiçbirinde Content-Signal satırı yok, yani bir /crawl isteği onlara normal şekilde ulaşır. Önce ölçün, sonra sonuca varın.

Sık sorulan sorular

Cloudflare /crawl neden 400 hatası döndürüyor?

Çünkü hedef sitenin robots.txt’deki Content-Signal satırı, isteğin beyan ettiğinden daha katı. Hata mesajı "Crawl disallowed by Content-Signal directive (purpose or use level)" şeklindedir: ya beyan ettiğiniz bir amaç no olarak ayarlıdır ya da contentUse değeriniz sitenin kullanım düzeyinin üstündedir.

use=reference ve ai-train=no ayarlı bir siteyi nasıl tararım?

contentUse reference gönderin ve crawlPurposes’ı ai-train’i dışarıda bırakacak şekilde daraltın, örneğin yalnızca search. Varsayılan istek, yani üç amaçla birlikte contentUse full, reddedilir.

Content-Signal use=reference ne anlama gelir?

Cloudflare’in tanımında reference, dizine ekle, alıntıla ve kaynağa bağlantı ver demektir. Daha katı düzey olan immediate, etkileşime gir ama hiçbir şeyi saklama ve yeniden kullanma; full ise özetle ve yeniden üret anlamına gelir. Cloudflare use’u hâlâ bir test uzantısı olarak tanımlıyor.

Google ya da OpenAI Content Signals’a uyuyor mu?

Bulabildiğimiz kamuya açık bir taahhüt yok. Google’dan John Mueller’in 6 Temmuz 2026’da direktifin hiçbir tarayıcı ya da LLM için etkisi olmadığını söylediği aktarıldı. Kaynağa dayandırabildiğimiz tek uygulama Cloudflare /crawl.

robots.txt dosyama bir Content-Signal satırı eklemeli miyim?

Yalnızca bilinçli bir politika olarak. Bugün Cloudflare /crawl müşterilerini bağlar ve diğer herkese niyet bildirir. Gerçekten kontrol etmek istediğiniz tarayıcılar için robots.txt kurallarının yerini tutmaz.

Kaynaklar

• ·Cloudflare Changelog, Crawl endpoint now respects the Content Signals use directive, 31 Ağustos 2026: https://developers.cloudflare.com/changelog/post/2026-08-31-crawl-content-use/
• ·Cloudflare Docs, Browser Run /crawl endpoint: https://developers.cloudflare.com/browser-run/quick-actions/crawl-endpoint/
• ·Cloudflare Changelog, Browser Rendering renamed to Browser Run, 15 Nisan 2026: https://developers.cloudflare.com/changelog/post/2026-04-15-br-rename/
• ·Cloudflare Changelog, Crawl entire websites with a single API call, 10 Mart 2026: https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/
• ·Cloudflare Docs, Managed robots.txt: https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
• ·Cloudflare Blog, Content Independence Day AI options, 1 Temmuz 2026: https://blog.cloudflare.com/content-independence-day-ai-options/
• ·Cloudflare Blog, Content Signals Policy, 24 Eylül 2025: https://blog.cloudflare.com/content-signals-policy/
• ·Search Engine Roundtable, Google: Cloudflare Content Signals Robots.txt Directive Has No Effects, 6 Temmuz 2026: https://www.seroundtable.com/google-cloudflare-content-signals-41631.html
• ·IETF, draft-ietf-aipref-vocab-08, 14 Eylül 2026: https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/