Cloudflare ve OpenAI’ın keşif pilotu: ChatGPT arama için yüz milyonlarca yeni sayfa

Ne duyuruldu

Cloudflare, 15 Ekim 2026’da blogunda "Cloudflare and OpenAI: Making AI discovery better for everyone" başlıklı yazıyı yayımladı. Yazarlar Matthew Conroy, Jack Galilee, Henry Aspegren ve James Balfour; yazı Aspegren ve Balfour’u OpenAI olarak belirtiyor. Yazı, iki şirketin Temmuz 2026’da başlattığı bir araştırma pilotunun erken sonuçlarını paylaşıyor.

Cloudflare pilotu 8 Temmuz 2026’da bir basın bülteniyle duyurmuştu. Bülten pilotu, Cloudflare ağındaki katılımcı web sitelerinden gelen içgörülerin, yapay zeka arama motorlarının açık web’deki ilgili içeriği keşfedip dizine eklemesine nasıl yardımcı olabileceğini araştıran bir pilot olarak tanımlıyor. Sinyal türlerini genel ifadelerle sayıyor: içeriğin güncelliği, trafik kalitesi ve sayfalardaki gerçek değişiklikler.

Pilot ne yaptı

• ·Cloudflare ağı, OpenAI’ın arama tarayıcısının daha yararlı sayfalar bulmasına yardımcı olabilecek sinyaller sağlıyor. OpenAI bu sayfaları ardından bağımsız olarak değerlendiriyor ve sıralıyor.
• ·Katılımcı grup, Cloudflare’ın toplam ağının yaklaşık %1’iydi.
• ·Yazıya göre pilot, OpenAI’ın yüz milyonlarca yeni web sayfasını keşfetmesini ve dizine eklemesini sağladı ve daha önce bilinmeyen sayfaları OpenAI’ın arama dizinine taşıdı.
• ·ChatGPT arama kaynaklarına bağlantı veriyor; böylece kullanıcılar özgün içeriği ve arkasındaki siteleri açabiliyor.

Az bağlantı alan sayfalar burada neden önemli

Yazıdaki örnekler belirli bir çamaşır makinesi modelinin kılavuzu, güncel pasaport şartları ve ücretleri, bir restoranın en son menüsü ve çalışma saatleri. Yazarlara göre "these pages can be valuable even if few other sites link to them" (bu sayfalar, onlara bağlantı veren site az olsa bile değerli olabilir).

Yazı bunu eski web ile karşılaştırıyor: o dönemde keşfedilebilir olmak bir sonuç sayfasında üst sıralarda yer almak demekti ve içeriği ziyaretçi değerlendiriyordu. Yapay zeka aramasında ise kaynakları bulmak, yararlı olup olmadıklarını değerlendirmek ve kullanıcıları yanıtlar, alıntılar ya da siteye bir ziyaret yoluyla bu kaynaklara ulaştırmak sistemin kendi işi.

Daha az boşa tarama

Bir URL’yi bulmak yalnızca başlangıç. Yazı, bir tarayıcının emeğini boşa harcatan kalıpları sıralıyor. Bunların başında, otomatik trafiğin var olmayan bir sayfayı ilginç gösterebilmesi geliyor:

• ·Var olmayan dosyaları isteyen botlar.
• ·Neredeyse her adresi ana sayfaya yönlendiren siteler.
• ·Yinelenen içerik sunan adresler.

Bu kalıpları tanımak, tarayıcının isteği yapmadan önce atlamasını sağlıyor. Değişiklik sinyalleri, bir sayfanın ne zaman yeniden ziyaret edilmeye değer olduğunu tarayıcıya bildiriyor. Yazarlar bir ödünleşimi de kabul ediyor: yeni sayfaları keşfetmek, bu sayfalar değerlendirilip dizine eklenirken taramayı başlangıçta artırabilir. Belirtilen hedef, toplam işi azaltırken güncel kalmak.

Yazarlar ayrıca zararlı olabilecek sayfaları işaretleyen sinyalleri test ediyor. Örnek, bir saldırganın yerleştirdiği sahte bir giriş formu gibi tek bir sayfası ele geçirilmiş meşru bir site. Alan adının tamamı yerine yalnızca o sayfayı işaretlemek, site sahibini cezalandırmadan kullanıcıları korumayı amaçlıyor. Yazıya göre erken sonuçlar, bu sinyallerin dizin dışında tutulması gereken sayfaları belirlemeye yardımcı olabileceğini gösteriyor.

İzinler ve model eğitimi

Yazıya göre "a signal about a page doesn't grant permission to access it" (bir sayfa hakkındaki sinyal, o sayfaya erişim izni vermiyor). Araştırma, arama ve keşif için web hakkındaki meta verileri kullanıyor; sayfa içeriğini model eğitimi için paylaşmıyor. Yazı, yapay zeka sistemlerinin sitelerine nasıl eriştiğini anlamak ve yönetmek için site sahiplerini Cloudflare’ın AI Crawl Control aracına yönlendiriyor. Cloudflare dokümantasyonuna göre AI Crawl Control tüm planlarda kullanılabiliyor.

Yazının söylemedikleri

• ·Sitelerin gruba nasıl dahil edildiği, katılımcıların nasıl seçildiği ya da bir sitenin nasıl ayrılabileceği. Temmuz’daki basın bülteni de bunu söylemiyor.
• ·Hangi OpenAI tarayıcısının kullanıldığı. Yazı yalnızca "OpenAI’s search crawler" (OpenAI’ın arama tarayıcısı) diyor, OAI-SearchBot adını vermiyor.
• ·Tarama azalması, yönlendirme trafiği ya da tıklamalarla ilgili herhangi bir rakam.
• ·Daha geniş bir kullanıma sunma tarihi. Yazıya göre bir sonraki aşama sayfa seçimini iyileştirecek, daha hızlı ve güvenilir değişiklik sinyallerini test edecek ve içerik keşfedildikten sonra ne olduğunu ölçecek.

ChatGPT aramanın sitenizi gösterip gösteremeyeceğini ne belirliyor

Pilot keşifle ilgili. Erişim ise sitenizin OpenAI tarayıcılarına neye izin verdiğine bağlı. OpenAI’ın tarayıcı dokümantasyonuna göre OAI-SearchBot, ChatGPT’nin arama özelliklerinde web sitelerini arama sonuçlarında göstermek için kullanılıyor. OAI-SearchBot’u engelleyen siteler ChatGPT arama yanıtlarında gösterilmiyor, ancak yine de gezinme bağlantısı olarak görünebiliyor. OpenAI, robots.txt dosyasında OAI-SearchBot’a izin verilmesini ve yayımladığı IP aralıklarından gelen isteklere izin verilmesini öneriyor. OpenAI’a göre robots.txt değişikliğinden sonra arama sistemlerinin buna uyum sağlaması yaklaşık 24 saat sürebiliyor.

robots.txt dosyasının bir tarayıcıya izin vermesi tek başına yetmiyor: bir güvenlik duvarı ya da barındırma kuralı onu yine de engelleyebiliyor. Bu farkı robots.txt evet diyor, sunucunuz hayır diyor yazısında anlattık.

Kısa kontrol listesi

• ·robots.txt dosyanızı açın ve OAI-SearchBot’u engellemediğini doğrulayın.
• ·Siteniz Cloudflare üzerinde çalışıyorsa AI Crawl Control’ü açın ve OAI-SearchBot için hangi eylemin ayarlı olduğunu kontrol edin.
• ·Güvenlik duvarınızın ya da barındırma hizmetinizin, OpenAI’ın OAI-SearchBot için yayımladığı IP aralıklarını engellemediğini kontrol edin.
• ·Sitenizde var olmayan bir adresi açın ve ana sayfaya yönlendirmek yerine 404 döndürdüğünü kontrol edin. Bu kontrol bizim önerimiz. Yazı, neredeyse her adresi ana sayfaya yönlendiren siteleri tarayıcının emeğini boşa harcatan kalıplar arasında sayıyor.
• ·Arama açıkken ChatGPT’ye müşterilerinizin sorduğu soruları sorun ve hangi sayfaları alıntıladığını not edin. Birkaç hafta sonra tekrarlayın.

Sık sorulan sorular

Sitem pilotun bir parçası mı?

Ne yazı ne de Temmuz’daki basın bülteni sitelerin nasıl seçildiğini ya da nasıl katılınacağını söylüyor. Yazı yalnızca grubun Cloudflare’ın toplam ağının yaklaşık %1’i olduğunu belirtiyor.

Cloudflare sayfa içeriğimi model eğitimi için OpenAI ile paylaşıyor mu?

Yazıya göre hayır. Araştırma, arama ve keşif için web hakkındaki meta verileri kullanıyor; sayfa içeriğini model eğitimi için paylaşmıyor.

OpenAI’ın tarayıcısını engellersem pilot bunu aşar mı?

Yazı, bir sayfa hakkındaki sinyalin o sayfaya erişim izni vermediğini söylüyor. OpenAI dokümantasyonuna göre OAI-SearchBot’u engelleyen bir site ChatGPT arama yanıtlarında gösterilmiyor.

Bu, ChatGPT’den daha fazla ziyaretçi getirir mi?

Yazı trafik ya da tıklama rakamı vermiyor. ChatGPT aramanın kaynaklara bağlantı verdiğini ve bir sonraki aşamanın içerik keşfedildikten sonra ne olduğunu ölçeceğini söylüyor.

ChatGPT aramada görünmek için Cloudflare gerekli mi?

OpenAI’ın tarayıcı dokümantasyonu Cloudflare’dan söz etmiyor. Sitelerden robots.txt dosyasında OAI-SearchBot’a ve OpenAI’ın yayımladığı IP aralıklarından gelen isteklere izin vermelerini istiyor.

Kaynaklar

• ·Cloudflare Blog, Matthew Conroy, Jack Galilee, Henry Aspegren ve James Balfour, Cloudflare and OpenAI: Making AI discovery better for everyone, 15 Ekim 2026: https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/
• ·Cloudflare, Cloudflare Announces Research Pilot with OpenAI, basın bülteni, 8 Temmuz 2026: https://www.cloudflare.com/press/press-releases/2026/cloudflare-announces-research-pilot-with-openai/
• ·OpenAI, Overview of OpenAI Crawlers (yalnızca İngilizce): https://developers.openai.com/api/docs/bots
• ·Cloudflare dokümantasyonu, AI Crawl Control overview (yalnızca İngilizce): https://developers.cloudflare.com/ai-crawl-control/
• ·Cloudflare dokümantasyonu, Manage AI crawlers (yalnızca İngilizce): https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/