AI Botları Listesi ve robots.txt İzinleri (2026)

Son güncelleme: 6 Ağustos 2026 · GEONI Ekibi

AI aramada görünmemenin en yaygın teknik sebebi içerik değil erişimdir. Model sayfanızı getiremiyorsa üstündeki metnin kalitesi bir şey değiştirmez. Aşağıda başlıca AI tarayıcıları, ne için geldikleri ve kopyalayıp yapıştırabileceğiniz izin bloğu var.

Başlıca AI tarayıcıları

Not: Googlebot ayrı bir tarayıcıdır ve klasik arama içindir; Google-Extended onu etkilemez.

Kopyalanabilir izin bloğu

Aşağıdakini siteniz.com/robots.txt dosyanıza ekleyin. Sonunda mutlaka sitemap satırı bulunsun — tarayıcılar sayfa listenizi oradan alır.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

Kullanıcı tetikli botlar ayrı bir sınıf

ChatGPT-User, Perplexity-User ve benzerleri, bir kişi o adresi istediği için gelir. Tarayıcı değil, kullanıcı adına yapılan tekil bir istektir ve tasarım gereği robots.txt kurallarına bakmazlar. Bunları robots.txt ile engelleyemezsiniz; gerçekten engellemek istiyorsanız sunucu tarafında erişim denetimi gerekir.

İzin vermek tek başına yetmiyor

200 dönmesi güzel ama yeterli değil. AI tarayıcıları JavaScript çalıştırmaz. Sayfanız yalnızca tarayıcıda JS ile çiziliyorsa bot boş bir kabuk görür. İçeriğin sunucudan gelen HTML'de bulunması gerekir.

Üç şeyi birlikte kontrol edin: (1) robots.txt izin veriyor mu, (2) bot user-agent'ıyla istek 200 dönüyor mu, (3) dönen HTML'de gerçek metin var mı.

Doğrulama: iki komut

Terminalden, bot gibi davranıp ne gördüğünü ölçebilirsiniz:

# 1) robots.txt açılıyor mu, düz metin mi?
curl -s https://siteniz.com/robots.txt

# 2) Bot user-agent'ıyla sayfa ne dönüyor?
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.0)" https://siteniz.com/

200 dışında bir kod görüyorsanız (403, 503, yönlendirme) bot koruması ya da WAF devrededir; sağlayıcınızda AI tarayıcılarına istisna tanımlanması gerekir.

llms.txt gerekli mi?

İsteğe bağlı. Google, llms.txt dosyasının kendi arama ve üretken yüzeylerinde dikkate alınmadığını açıkça belirtiyor. Maliyeti düşük olduğu için Google dışı sistemler adına eklenebilir, ama Google'da sıralama veya alıntılanma kaldıracı olarak sunulmamalı. Ayrıntı: llms.txt nedir, nasıl eklenir.

Sık sorulan sorular