AI erişim kontrolü: yanıtlarda görünür, eğitimde kendi kararınızla.

Bu rehberi, içeriğinin yapay zekâ yanıtlarında kaynak olarak görünmesini isteyen ama sitesine hangi botun neden geldiğini ve yazdığı kuralların uygulanıp uygulanmadığını net göremeyen yayıncılar, e-ticaret ve kurumsal site ekipleri için yazdık. Anlattığımız her kural IETF’in robots.txt standardına; Google, OpenAI, Anthropic, Perplexity ve Common Crawl’un bot belgelerine, llmstxt.org önerisine ve Cloudflare belgelerine dayanıyor. Bot adlarını Eylül 2026 itibarıyla kaynaktan doğruladık; sağlayıcılar listelerini sık güncellediği için kurulumda yeniden kontrol ediyoruz. Kendi saha gözlemlerimizi “Uzman notu” başlığıyla ayrı işaretledik.

AI erişim kontrolünde işimiz üç katmanda ilerler: tarayıcı envanterini günlüklerden çıkarıp kimlikleri doğrulamak, her bot için robots.txt’den CDN’e kadar kuralları yazmak, llms.txt’yi kurup erişimi izlemek. Bu sayfa, GEO danışmanlığının teknik erişim katmanını derinleştirir.

AI erişim kontrolü neyi çözer?

AI erişim kontrolü, sizi yapay zekâ yanıtlarına taşıyan botların içeriğinizi okuyabilmesini, model eğitimi için veri toplayan botlarınsa sizin kararınıza göre çalışmasını sağlar. Siteye gelen yapay zekâ trafiği tek bir “AI botu” değildir; sağlayıcılar botlarını amaçlarına göre ayırıyor ve her birine robots.txt’de ayrı bir ad veriyor. OpenAI, ChatGPT araması için OAI-SearchBot’u, model eğitimi için GPTBot’u ayrı yönetiyor ve bu ayarların bağımsız olduğunu, OAI-SearchBot’a izin verip GPTBot’u engelleyebileceğinizi yazıyor.¹ Anthropic’in ClaudeBot, Claude-SearchBot ve Claude-User ayrımı da aynı mantıktadır.²

Bu ayrım bir karar alanı açar. Yayıncı, yanıtlarda anılmak isteyip eğitim kullanımını kısıtlayabilir; e-ticaret sitesi ürün sayfalarını yapay zekâ aramalarına açıp sepet ve hesap sayfalarını bütün botlara kapatır; kurumsal site tarama yükünü denetlemek ister. Çözüm hiçbirinde “hepsini aç” ya da “hepsini kapat” değildir; kural bot bot, amaç amaç yazılır.

Yapay zekâ tarayıcıları hangi amaçlarla gelir?

Yapay zekâ tarayıcıları üç amaçla gelir: arama dizini kurmak, bir kullanıcının sorusu için anlık sayfa getirmek ve model eğitimi için veri toplamak. Bu grupların robots.txt’ye tutumu farklıdır; tablo, günlüklerde en sık gördüğümüz ürün adlarını sağlayıcıların kendi tanımlarıyla özetler.

En önemli ayrım, kullanıcı adına gelen getiricilerdir. Google da isteklerini üçe ayırıyor: robots.txt’ye her zaman uyan ortak tarayıcılar, uyup uymaması işleve göre değişen özel tarayıcılar ve kullanıcı istediği için robots.txt’yi yok sayan kullanıcı tetiklemeli getiriciler.⁷ OpenAI, ChatGPT-User’ın otomatik tarama yapmadığını ve Arama’da görünmeyi belirlemediğini ayrıca belirtiyor.¹ Bu yüzden kullanıcı adına gelen trafiği ayrı bir satırda ölçüyoruz. Reklam verenler için bir bot daha var: OAI-AdsBot yalnız ChatGPT’de reklam olarak gönderilen açılış sayfalarını politika uyumu için ziyaret eder ve topladığı veri eğitimde kullanılmaz;¹ ayrıntısı ChatGPT Ads danışmanlığı sayfamızda.

Sunucu günlüğünden bot envanteri nasıl çıkarılır?

Bot envanteri, sunucu ve CDN günlüklerinde her isteğin user-agent’ını, IP adresini, istenen yolu ve durum kodunu birlikte okuyarak çıkarılır. RFC 9309’a göre tarayıcı robots.txt’de kendini bir ürün adıyla (product token) tanıtır ve bu adın isteğin User-Agent başlığında da geçmesi beklenir;⁸ günlükte aradığımız şey tam dizge değil, bu addır. Google, dizgelerdeki Chrome sürüm numarası değiştiği için aramada sürüm yerine joker karakter kullanılmasını öneriyor.⁴ OpenAI ise robots.txt isteklerinde user-agent’a “robots.txt” işareti ekleyebildiğini yazıyor;¹ bu işaret, yol tutmayan günlüklerde robots.txt okumalarını ayırmayı kolaylaştırır.

Gruplamadan sonra her bot için dört soruya bakıyoruz: hangi yolları istiyor, ne sıklıkla geliyor, hangi durum kodunu alıyor, kapattığımız yollara istek gönderiyor mu. Arama botlarının ürün sayfalarına ulaşıp ulaşmadığı ve eğitim botlarının sunucuya bindirdiği yük bu tablodan okunur. OpenAI, iki bota da izin veren sitelerde tek bir taramanın sonucunu iki amaç için kullanabildiğini yazıyor;¹ istek sayıları bu yüzden amaçların payını birebir göstermez.

Bir botun gerçekten o bot olduğu nasıl doğrulanır?

Bir botun kimliği user-agent dizgesiyle değil, isteğin geldiği IP adresinin sağlayıcının yayımladığı listede ya da doğru alan adında olmasıyla doğrulanır. Google, HTTP user-agent dizgesinin taklit edilebileceğini yazıyor;⁴ Common Crawl da kendini CCBot diye tanıtan sahte tarayıcılar konusunda uyarıyor.⁶ Doğrulama sırası:

1. Ters DNS: günlükteki IP için ters DNS sorgusu yapılır; Google tarayıcılarında ad googlebot.com, google.com ya da googleusercontent.com ile bitmelidir.⁷ Common Crawl’da IPv4 adreslerinin ters DNS adı crawl.commoncrawl.org ile biter.⁶
2. İleri DNS: dönen ad için ileri sorgu yapılır, sonucun günlükteki IP ile aynı olduğu kontrol edilir.⁷
3. IP listeleri: yüksek hacimde sağlayıcıların JSON listeleri kullanılır: Google’ın common-crawlers.json ve getirici listeleri,⁷ OpenAI’ın searchbot.json, gptbot.json ve chatgpt-user.json dosyaları,¹ Anthropic’in bots.json listesi,² Perplexity’nin iki listesi⁵ ve Common Crawl’un ccbot.json dosyası.⁶
4. Karar: ad ile IP tutuyorsa istek doğrulanmıştır; ad bilinen bir botu söylüyor ama IP listede değilse istek taklit olarak ayrı raporlanır.

robots.txt kuralları bot bot nasıl yazılır?

robots.txt’de her bot kendi ürün adına uyan grubun kurallarına uyar; kendi grubu yoksa yıldızlı (*) gruba, o da yoksa hiçbir kurala bağlı değildir.⁸ Ad eşleşmesi büyük/küçük harfe duyarsızdır; aynı ada uyan gruplar tek grupta birleştirilir.⁸ Grup içinde en uzun, yani en özel yol eşleşmesi geçerlidir; eşdeğer bir izin (allow) ile yasak (disallow) çakışırsa izin kazanır.⁸ Dosya hizmetin kök yolunda /robots.txt adıyla durur;⁸ her alt alan adı kendi dosyasını ister, Anthropic de engellemenin her alt alan adı için ayrı yapılmasını söylüyor.²

Karar sırası buradan çıkar. Önce arama botlarını açık tutuyoruz; OpenAI, OAI-SearchBot’u engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmediğini, yalnız gezinme bağlantısı olarak görünebildiğini yazıyor.¹ Sonra eğitim botları ve Google-Extended için markanın tercihini, en son da sepet, hesap ve site içi arama gibi hiçbir botun taramasına gerek olmayan yolları her gruba ayrı ayrı yazıyoruz.

Google-Extended ne yapar, ne yapmaz?

Google-Extended, Google’ın taradığı içeriğin Gemini modellerinin eğitiminde ve grounding’de (yanıt anında Arama dizininden modele içerik verilmesi) kullanılıp kullanılmayacağını belirleyen bir robots.txt denetim adıdır; ayrı bir tarayıcı değildir.⁴ Kendi user-agent dizgesi yoktur, tarama Google’ın mevcut dizgeleriyle yapılır;⁴ günlükte “Google-Extended” adlı istek aramak sonuçsuz kalır. Tercih, Gemini uygulamalarını ve Vertex AI’daki Gemini API’yi etkiler.⁴

Google-Extended Arama’yı etkilemez: Google, bu adın siteyi Arama’ya dahil etmeyi etkilemediğini ve sıralama sinyali olmadığını yazıyor.⁴ Yapay zekâ özeti ve modu ise Arama’nın parçasıdır; Google burada denetimin Googlebot’a yazılan robots.txt kuralları olduğunu, gösterilecek bilgiyi sınırlamak için nosnippet, data-nosnippet, max-snippet ya da noindex kullanılmasını söylüyor.³ Bir sayfanın yapay zekâ özetinde destek bağlantısı olabilmesi için de dizinde ve snippet ile gösterilmeye uygun olması gerekiyor.³

Meta robots ve X-Robots-Tag ne zaman gerekir?

Meta robots ve X-Robots-Tag, robots.txt’nin veremediği sayfa ve dosya düzeyindeki dizine alma ve gösterim kararları için gerekir. Meta etiket HTML sayfasının içinde durur; X-Robots-Tag aynı kuralları HTTP yanıt başlığında taşır ve Google, PDF, görsel ya da video gibi dosyalarda bu başlığın kullanılmasını söylüyor.⁹ Bot adı verilmeyen kural bütün tarayıcılar için geçerlidir; çelişen kurallarda daha kısıtlayıcı olan uygulanır.⁹ Bu etiketler URL tarandığında okunur: robots.txt ile taraması engellenen sayfadaki kurallar bulunamaz ve yok sayılır.⁹ Bir sayfayı hem robots.txt’de kapatıp hem noindex koymak, noindex’in hiç görülmemesi demektir.

Meta robots ve X-Robots-Tag’i Google ayrıntılı belgeliyor; OpenAI, Anthropic ve Perplexity ise denetimi robots.txt üzerinden tarif ediyor.¹²⁵ Eğitim tercihini bu yüzden robots.txt’de yazıyoruz.

CDN kuralları robots.txt’nin yetmediği yerde nasıl devreye girer?

CDN kuralları, robots.txt’ye uymayan, kullanıcı adına gelip kuralı yok sayan ya da kimliği doğrulanamayan istekleri sunucuya ulaşmadan durdurmak için devreye girer. RFC 9309, robots.txt kurallarının erişim yetkilendirmesi olmadığını, güvenlik önleminin yerine geçmediğini ve dosyada listelenen yolların herkese açık hâle geldiğini yazıyor.⁸ Gizli bir yolu robots.txt’ye yazmak onu saklamaz, bulunur kılar.

Cloudflare’de bu işi AI Crawl Control yapar: yapay zekâ tarayıcılarını, istek sayılarını ve robots.txt ihlallerini bot bot listeler, her biri için izin ya da engel seçilir.¹⁰ Engelleme bir WAF özel kuralı olarak yazılır ve yol bazlı istisnalar eklenebilir; ücretli planlarda bota 403 ya da 402 (ödeme gerekli) yanıtı döndürülebilir, ücretsiz planda tespit kendini user-agent ile tanıtan tarayıcılarla sınırlıdır.¹⁰ Cloudflare botları arama, ajan ve eğitim olarak üç davranış sınıfına ayırıyor; ajan sınıfı kullanıcı adına çalışan sohbet getiricilerini ve tarayıcı ajanlarını kapsıyor.¹¹ Cloudflare ayrıca 15 Eylül 2026 için yeni alan adlarında eğitim ve ajan sınıfının reklam gösteren sayfalarda engellendiği, arama botlarının açık kaldığı bir varsayılan duyurdu.¹¹ Yani reklamlı bir yayıncı sayfası, bir asistanın kullanıcı için yaptığı anlık getirmeye de kapanabilir. Google da taramaya robots.txt’nin yanında CDN ve barındırma altyapısında da izin verilmesini öneriyor;³ CDN ayarlarını bu yüzden robots.txt kararlarıyla aynı tabloda tutuyoruz.

llms.txt nedir, ne işe yarar?

llms.txt, bir sitenin dil modellerine ve yapay zekâ ajanlarına kısa bir özet ve önemli sayfalarının bağlantılarını sunmak için kök dizine ya da bir alt yola konan Markdown dosyasıdır.¹² Jeremy Howard’ın Eylül 2024’te yayımladığı bir standartlaşma önerisidir; bugün “v2” başlığıyla yayında, son güncellemesi Ağustos 2026.¹² Dosya şu sırayla yazılır:¹²

• H1 başlık: sitenin adı; tek zorunlu bölüm.
• Özet alıntı bloğu: dosyanın geri kalanını anlamak için gereken kısa açıklama.
• Açıklama bölümleri: başlıksız paragraf ve listelerle ayrıntı.
• H2 dosya listeleri: her satırda bir Markdown bağlantısı ve isteğe bağlı not.
• “Optional” bölümü: bağlam dar olduğunda atlanabilecek ikincil bağlantılar.

Öneri, bilgi içeren sayfaların aynı adreste .md uzantılı temiz bir sürümünün de yayımlanmasını istiyor.¹² robots.txt hangi erişimin kabul edildiğini söyler; llms.txt ise ajan kullanıcıya yardım ederken ihtiyaç duyduğunda okunur. Site haritası dil modeline uygun sürümleri listelemediği ve çoğu zaman bağlama sığmayacak kadar büyük olduğu için bu işi görmez.¹²

Dosyayı kurumsal bilgi, ürün ya da hizmet grupları, fiyat ve teslimat politikaları, destek sayfaları gibi bir ajanın doğru yanıt vermesi için gereken sayfalarla sınırlı tutuyoruz. Ücretsiz AI görünürlük analizimiz tarayıcı erişiminizi denetler ve bir llms.txt taslağı üretir; kurulumda bu taslağı robots.txt kararlarınızla birlikte son hâline getiriyoruz.

İlk 30 gün: erişim kararları nasıl alınır?

İlk 30 günün işi kuralları hemen değiştirmek değil; önce kimin geldiğini ölçmek, sonra her bot için kararı yazılı almak ve kuralları test ederek devreye almaktır.

1. 1. hafta · Envanter: sunucu ve CDN günlükleri alınır, istekler gruplanıp IP ve DNS ile doğrulanır; mevcut robots.txt, meta robots ve CDN kuralları çıkarılır.
2. 2. hafta · Karar tablosu: her bot için izin, kısıt ya da engel kararı sizinle birlikte yazılır; eğitim tercihi ve yük sınırları netleşir.
3. 3. hafta · Kurulum: robots.txt bot bot yazılır, gereken yerlere meta robots ya da X-Robots-Tag eklenir, CDN kuralları kurulur, llms.txt yayına alınır.
4. 4. hafta · İlk okuma: günlükler yeniden okunur; kurala uymayan istekler, yanlışlıkla engellenen arama botları ve robots.txt durum kodları raporlanır.

Değişikliklerin etkisi hemen görünmez: RFC 9309 robots.txt’nin önbellekteki kopyasının 24 saate kadar kullanılabileceğini söylüyor;⁸ OpenAI yansımanın yaklaşık 24 saat,¹ Perplexity 24 saate kadar sürebileceğini yazıyor.⁵ İlk okumayı bu yüzden kurulumdan birkaç gün sonra yapıyoruz.

Bir ortakla görüşürken şu soruların somut yanıtını almak işe yarar: botları neye göre doğruluyorsunuz, arama ve eğitim botlarını nasıl ayırıyorsunuz, CDN kuralını robots.txt ile nasıl tutarlı tutuyorsunuz, değişiklikten sonra neyi ölçüyorsunuz. Sitenizin bugün hangi botlara açık olduğunu birlikte okumak isterseniz aşağıdan size uygun bir görüşme günü seçebilirsiniz.