Cloudflare’ın Verified bots için güven bantları, Ekim 2026: şirket içinde kullanımda, müşteri eşiği planlanıyor

Ne duyuruldu

Cloudflare, 16 Ekim 2026’da blogunda Chris Tsoukaladelis imzalı "Continuous accountability for Verified bots" başlıklı yazıyı yayımladı. Yazı bir karşılaştırmayla açılıyor: ehliyet kim olduğunuzu ve bir sınavı geçtiğinizi gösterir, sonrasında nasıl araç kullanacağınızı göstermez. Bir botu kimin işlettiğini doğrulamak hesap verebilirlik sağlar, ancak güven botun bundan sonra ne yaptığına bağlıdır.

Yazıya göre bir Verified bot üç genel koşulu karşılamalı: kendini doğru ve güvenli biçimde tanıtmak, yalnızca yapacağını söylediği şeyi yapmak ve kötüye kullanım niteliğinde davranmamak. Botlar kimliklerini isteklerini Web Bot Auth ile imzalayarak kanıtlıyor; BotBase de bu kimlikleri açık bir formatta katalogluyor. Kimlik konusu çözüldükten sonra yazı, Verified bots için ikinci temel kural dediği ilkeye geçiyor: "thou shalt do no harm" (zarar vermeyeceksin).

Yazıya göre tanınan bir bot da sitenin tercihlerini yok sayabilir, kaynak sunucuya aşırı yük bindirebilir ya da kontrolleri atlatabilir; bu çoğu zaman kötü niyetten değil, bir yapılandırma hatasından ya da yazılım hatasından kaynaklanıyor.

Risk ve güven

Yazı iki kavramı ayırıyor. Risk, belirli bir isteğin zararlı olma olasılığı ve an be an değişebiliyor. Güven ise tekrarlanan, tutarlı davranışla yavaş yavaş oluşuyor.

Örnek olarak yazı, Cloudflare’ın 2025’te Perplexity’nin botunu, tarama dışında kalmayı seçmiş sitelere erişmeye çalıştığı ve engelleri aşmayı denediği için Verified bots listesinden çıkardığını hatırlatıyor. Cloudflare’ın bu çıkarma hakkındaki özgün yazısı 4 Ağustos 2025 tarihli.

Sistem neyi ölçüyor

Cloudflare, bir tarayıcının sitelerin tercihlerine ne sıklıkla uyduğunu ölçüyor. Sonuç, açıklanabilir bir güven bandı: botun tercihlere ne kadar tutarlı uyduğunu ve değerlendirmede hangi gözlemlenen davranışların rol oynadığını gösteriyor. Başlangıçtaki sinyaller iki tane: bot talimatlara uyuyor mu ve sitenin doğrudan geri bildirimine yanıt veriyor mu.

Birinci sinyal: robots.txt

Yazı robots.txt dosyasını site sahiplerinin tercihlerini bildirmesinin başlıca yolu olarak tanımlıyor. Sistem, bir botun trafiğinin zaman içinde bu yayımlanmış tercihlerle tutarlı kalıp kalmadığını kontrol ediyor. Tekil ihlaller, tercihlerin tekrar tekrar yok sayıldığı kalıplardan daha az önem taşıyor. Beklenti RFC 9309’a dayanıyor.

Yazı ayrıca robots.txt dosyasının asgari kuralları belirlediğini söylüyor: sitenin hiç söz etmediği bir davranışa örtük olarak izin verilmiş sayılmıyor ve site istenmeyen erişimi başka yollarla da bildirebiliyor.

İkinci sinyal: HTTP 429

Bir bot izin verilen yolların içinde kalıp yine de siteye ağır yük bindirebilir. 429 (Too Many Requests) yanıtı istemciden istek hızını düşürmesini istiyor; bazen önerilen bir bekleme süresiyle birlikte. Sistem, 429 aldıktan sonra botun trafiğinin değişip değişmediğini kontrol ediyor: yavaşlıyor mu, duruyor mu, yoksa aynı hızla devam mı ediyor? Tutarlı biçimde yavaşlamak ya da durmak güven bandını yükseltiyor. Sinyali tekrar tekrar yok saymak ise düşürüyor.

Ne değişiyor, ne zaman

Bu yazının yazıldığı 18 Ekim 2026 itibarıyla durum:

• ·Cloudflare sistemi şu an kendi içinde kullanıyor. Bu başlangıç aşamasında gözlem geçmişi oluşturuyor ve güveni tekil olaylara göre değil, süreklilik gösteren kalıplara göre değerlendiriyor.
• ·Cloudflare sistemi tüm müşterilerine sunmayı planlıyor. Her müşteri, Verified bots trafiğine nasıl davranılacağını belirleyen güven eşiğini kendisi seçebilecek.
• ·Cloudflare puanları Cloudflare Radar’ın bot dizininde yayımlamayı ve davranışı ölçme yollarını genişletmeyi planlıyor.
• ·Yazı bu adımların hiçbiri için tarih vermiyor.

Yazı sistemi mevcut iki ürünün yanına yerleştiriyor. Bot Preference Sync site sahiplerinin tercihlerini yayımlamasını sağlıyor, gözlem botların bu tercihlere uyup uymadığını gösteriyor, Bot Management da bu trafiğe nasıl davranılacağını yönetiyor. Yazı üçünü birlikte bir hesap verebilirlik döngüsü olarak adlandırıyor. Cloudflare’ın 21 Ağustos 2026 tarihli Bot Preference Sync yazısına göre bu özellik sitenin robots.txt dosyasını Search, Agent ve Training için yapılan yapay zeka botu ayarlarıyla uyumlu tutuyor ve ücretsiz plan dahil tüm planlarda kullanılabiliyor.

Yazının söylemedikleri

• ·Müşterilerin güven eşiğini ne zaman ve hangi planlarda belirleyebileceği.
• ·Kaç ihlalin ya da yok sayılan kaç 429 yanıtının bir botu bir banttan diğerine geçirdiği.
• ·Bugün hangi botların gözlem altında olduğu. Yazı, Perplexity’nin 2025’teki örneği dışında hiçbir yapay zeka tarayıcısının adını vermiyor.
• ·Düşük bir güven bandının Verified bots listesinden çıkarılmaya yol açıp açmayacağı.

Kısa kontrol listesi

Bu kontroller bizim önerimiz. Yazının adını verdiği iki sinyalden çıkıyor.

• ·Canlı robots.txt dosyanızı depodaki dosyadan değil, web tarayıcınızda açarak kontrol edin ve her tarama botundan ne istediğinizi söyleyip söylemediğine bakın. Siteniz Cloudflare üzerindeyse Bot Preference Sync kendi kurallarınızın önüne bir bölüm ekleyebilir.
• ·Sunucunuz ya da CDN’iniz istek hızını sınırlıyorsa 429 yanıtı verdiğini kontrol edin. RFC 6585, 429 Too Many Requests kodunu tanımlıyor ve istemciye ne kadar beklemesi gerektiğini bildiren isteğe bağlı bir Retry-After başlığına izin veriyor.
• ·Sizin için önemli tarayıcıları, Cloudflare’ın puanları yayımlamayı planladığı Radar bot dizininde arayın.

robots.txt bir tarayıcıya izin verirken güvenlik duvarında onu engelliyorsanız, tarayıcı iki farklı mesaj alıyor. Bu farkı robots.txt evet diyor, sunucunuz hayır diyor yazısında anlattık.

Sık sorulan sorular

Güven eşiğini bugün belirleyebilir miyim?

Tarih verilmedi. Yazıya göre Cloudflare sistemi kendi içinde kullanıyor ve eşiği seçecek olan tüm müşterilere sunmayı planlıyor.

Tek bir robots.txt ihlali bir botun güven bandını düşürür mü?

Yazıya göre tekil ihlaller anlamlı olmayabilir. Sistem, yayımlanmış tercihlerin tekrar tekrar yok sayıldığı kalıpları arıyor.

robots.txt dosyam bir bot hakkında hiçbir şey söylemiyorsa her şeye izin verilmiş mi olur?

Yazıya göre hayır. robots.txt asgari kuralları belirliyor, sitenin söz etmediği bir davranışa örtük olarak izin verilmiş sayılmıyor ve site istenmeyen erişimi başka yollarla da bildirebiliyor.

429 yanıtı burada neden önemli?

Yazı 429’u sitenin doğrudan geri bildirimi olarak ele alıyor. 429’dan sonra yavaşlayan ya da duran bir bot güven bandını yükseltiyor, aynı hızla devam eden ise düşürüyor.

Puanlar nerede yayımlanacak?

Cloudflare puanları Cloudflare Radar’ın bot dizininde yayımlamayı planlıyor. Yazı tarih vermiyor.

Kaynaklar

• ·Cloudflare Blog, Chris Tsoukaladelis, Continuous accountability for Verified bots, 16 Ekim 2026: https://blog.cloudflare.com/verified-bots-accountability/
• ·Cloudflare Blog, Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives, 4 Ağustos 2025: https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/
• ·Cloudflare Blog, Jin-Hee Lee, Say it once: introducing Bot Preference Sync, 21 Ağustos 2026: https://blog.cloudflare.com/bot-preference-sync/
• ·Cloudflare dokümantasyonu, Verified bots (yalnızca İngilizce): https://developers.cloudflare.com/bots/concepts/bot/verified-bots/
• ·Cloudflare Radar, Bots directory: https://radar.cloudflare.com/bots/directory
• ·RFC 9309, Robots Exclusion Protocol (yalnızca İngilizce): https://www.rfc-editor.org/info/rfc9309/
• ·RFC 6585, Additional HTTP Status Codes, bölüm 4 (yalnızca İngilizce): https://www.rfc-editor.org/rfc/rfc6585