Yapay zekâ botları sitenize girebiliyor mu?
Alan adınızı yazın. robots.txt dosyanızı okuyor, ana sayfanızı yapay zekâ ajanlarının kimliğiyle açmayı deniyor ve on bir bot için sonucu tek tek gösteriyoruz.
Örnek: ornek.com. Ücretsizdir; e-posta istemiyoruz, rapor adresi oluşturmuyoruz.
Erişim ilk koşul, tamamı değil.
AI görünürlük analizi aynı siteye 22 kontrolle bakar: dizine girme, yapılandırılmış veri, sayfa sinyalleri ve içeriğin alıntılanmaya hazır olup olmadığı. O da ücretsiz.
Sonuç ne anlama geliyor?
Açık
robots.txt bu bota izin veriyor. Canlı deneme yaptığımız botlarda istek 200 yanıtı da aldı.
Engelli
robots.txt bu botu sitenin bütününden (Disallow: /) kapatıyor. Kurala uyan bot sitenize girmez.
Doğrulanamadı
robots.txt izin veriyor ama bu kimlikle gönderdiğimiz istek geri çevrildi ya da robots.txt okunamadı. Güvenlik duvarınız bizim isteğimizi durdurup gerçek botu geçiriyor olabilir.
Erişim, görünürlükle aynı şey değildir. Botun sitenize girebilmesi yanıtlarda anılmanın ilk koşuludur; anılmak için sayfanın dizinde olması, alıntılanabilir içerik ve markanızın başka sitelerde anılması da gerekir. Bunlara AI görünürlük analizi bakar.
Nasıl çalışır?
robots.txt dosyanızı okuyoruz
Her bot için önce kendi adıyla yazılmış kurala, yoksa genel kurala (User-agent: *) bakıyoruz.
Ana sayfanızı bot kimliğiyle istiyoruz
Yedi botun kimliğiyle (User-Agent) birer istek gönderiyor, yanıt kodunu ve doğrulama sayfası çıkıp çıkmadığını not ediyoruz.
İkisini yan yana gösteriyoruz
Kural ile canlı yanıt çelişiyorsa bunu açıkça yazıyor, engelli arama botu için eklenecek satırı veriyoruz.
Hangi bot ne işe yarar?
OAI-SearchBot · OpenAI
ChatGPT’nin arama botu. OpenAI’ye göre bu botu engelleyen site ChatGPT arama yanıtlarında kaynak gösterilmez.
ChatGPT-User · OpenAI
Bir ChatGPT kullanıcısı sayfanızı açtırdığında gelen istek. Otomatik tarama değil, kullanıcı isteğidir.
GPTBot · OpenAI
Model eğitimi içindir. Engellemek, içeriğinizin eğitimde kullanılmaması isteğidir; arama botundan ayrı yönetilir.
Claude-SearchBot · Anthropic
Claude’un arama botu. Anthropic, engellemenin kullanıcı aramalarındaki görünürlüğü azaltabileceğini belirtiyor.
ClaudeBot · Anthropic
Anthropic’in eğitim botu. Arama botundan ayrıdır.
PerplexityBot · Perplexity
Perplexity arama sonuçlarında gösterim için tarar ve robots.txt’ye uyar.
Google-Extended · Google
Ayrı bir tarayıcı değil, denetim belirteci. İçeriğinizin Gemini modellerinde ve yanıt temellendirmesinde kullanımını denetler; Google Arama’yı ve yapay zekâ özetlerini etkilemez.
Googlebot · Google
Google Arama’nın botu. Yapay zekâ özetleri ve AI Modu Google Arama dizinini kullanır; Google engelli sayfayı orada kaynak gösteremez.
Bingbot · Microsoft
Bing’in botu. Microsoft Copilot Bing dizinini kullanır.
CCBot · Common Crawl
Common Crawl’ın açık web arşivi için tarar. Rehberimizde eğitim tarafındaki kararlarla birlikte ele alıyoruz.
Applebot-Extended · Apple
Ayrı bir tarayıcı değil, denetim belirteci. İçeriğinizin Apple’ın yapay zekâ eğitiminde kullanımını denetler.
Kaynak: OpenAI, Anthropic, Perplexity ve Google resmî bot belgeleri (erişim 1 Kasım 2026). Kararı bot bot nasıl vereceğinizi robots.txt nedir yazımızda anlatıyoruz; birlikte kurmak isterseniz AI erişim kontrolü hizmetimiz var.
Yöntem ve sınırlar.
- Yalnız sitenin bütününe bakıyoruz. robots.txt’teki kuralı kök yol (/) için okuyoruz. Alt klasörlere yazılmış kurallar bu araçta yok.
- Canlı deneme yalnız ana sayfada, yedi kimlikle. OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ve CCBot.
- Googlebot ve Bingbot için canlı deneme yok. Birçok güvenlik duvarı bu adları taşıyıp arama motorundan gelmeyen istekleri geri çevirir; sonuç yanıltıcı olurdu. Bu iki bot için robots.txt kuralını gösteriyoruz.
- Google-Extended ve Applebot-Extended denetim belirtecidir. Ayrı tarayıcıları olmadığı için yalnız kurala bakıyoruz.
- Dışarıdan deneme kesin değildir. İsteği kendi sunucumuzdan gönderiyoruz. Güvenlik duvarınız bizim isteğimizi durdurup gerçek botu geçirebilir ya da tersi olabilir; bu yüzden kural ile canlı yanıt ayrışırsa “doğrulanamadı” yazıyoruz.
- robots.txt bir erişim yetkisi değil, taleptir (RFC 9309). Kurala uymayan bir tarayıcıyı durdurmaz.
- Gerçek yapay zekâ yanıtlarını ölçmüyoruz. Markanızın bir yanıtta anılıp anılmadığını bu araç söylemez.
Sık sorulan sorular.
GPTBot ile OAI-SearchBot arasındaki fark nedir?
İkisi de OpenAI’nin botudur ama işleri ayrıdır. GPTBot model eğitimi için tarar. OAI-SearchBot ChatGPT’nin arama botudur; OpenAI’ye göre onu engelleyen site ChatGPT arama yanıtlarında kaynak gösterilmez. Biri için verdiğiniz karar ötekini bağlamaz.
robots.txt izin veriyor ama sonuç neden “doğrulanamadı” çıkıyor?
Çünkü bot kimliğiyle gönderdiğimiz istek 200 dışında bir yanıt aldı ya da bir doğrulama sayfasıyla karşılandı. En sık nedeni, bir güvenlik eklentisinin ya da CDN kuralının botları toptan engellemesidir. Gerçek botun IP adresi geçiyor olabilir; bunu dışarıdan doğrulayamadığımız için sonucu kesin yazmıyoruz.
Eğitim botlarını engellemeli miyim?
Bu bir marka kararıdır. Eğitim botlarına (GPTBot, ClaudeBot, Google-Extended denetimi, CCBot) izin vermek ya da vermemek arama görünürlüğünü doğrudan belirlemez. Yanıtlarda anılmak istiyorsanız arama botlarının açık olması gerekir.
Bütün botlar açıksa yapay zekâ yanıtlarında görünür müyüm?
Hayır, erişim yalnız ilk koşuldur. Yanıtlarda anılmak için sayfanın dizinde olması, alıntılanabilir içerik ve markanızın başka sitelerde anılması da gerekir. Bunların sitenizdeki durumunu AI görünürlük analizi 22 kontrolle puanlar.
robots.txt dosyamı değiştirdim, sonuç ne zaman değişir?
Bu araç aynı alan adının sonucunu 10 dakika önbellekte tutar; 10 dakika sonra yeniden denetleyebilirsiniz. Botların kendisi daha geç fark edebilir: OpenAI, robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebildiğini yazıyor.
E-posta gerekiyor mu, verimi saklıyor musunuz?
E-posta istemiyoruz. Yazdığınız alan adının sonucunu 10 dakika önbellekte tutuyor, rapor adresi oluşturmuyoruz. Kötüye kullanımı önlemek için aynı bağlantıdan saatte en çok 10 yeni denetim yapılabilir.
Sitenizin tamamına 22 kontrolle bakın.
AI görünürlük analizi erişimin yanında dizine girmeyi, yapılandırılmış veriyi, sayfa sinyallerini ve içeriğinizi puanlar.