robots.txt Google'a neyi dizine alacağını söylemez. Neyi taramayacağını söyler. Bunlar farklı talimatlar ve bu dosyayla yapılan hataların çoğu tam bu farktan çıkıyor.
500 Farsça alan adını denetledik. 463'ü gerçek bir robots.txt sunuyor, 25'i 200 ile yanıt vermiyor ve dokuzu metin yerine bir HTML sayfası döndürüyor; yani tarayıcı, talimatların olması gereken yerde o sitenin 404 şablonunu okuyor.
O dosyaların içinde gerçekte ne var
| 463 gerçek dosyada | Adet |
|---|---|
| Sitemap satırı taşıyor | 397 (%86) |
| Herkes için hiç Disallow kuralı yok | 81 |
| En az bir yapay zekâ tarayıcısını engelliyor | 18 (%4) |
| crawl-delay kullanıyor | 5 |
| Bütün siteyi herkese kapatıyor | 1 |
| Cloudflare'in standart metin bloğunu taşıyor | 14 |
Ortanca dosyada dokuz talimat satırı var, en büyüğünde 1.518. Yıldız altındaki Disallow kurallarının ortancası dört, en büyüğü 139.
Yaygın tabloyla çelişen üç bulgu
- Yapay zekâ tarayıcılarını neredeyse kimse engellemiyor. 463'te 18. İran sitelerinin yapay zekâya kapıyı kapattığını duyduysanız, kapatmıyorlar. Ve o on sekizi özünde tek bir listeyi kopyalamış: on beşi GPTBot, ClaudeBot ve Bytespider'ı; on dördü CCBot, Amazonbot ve Google-Extended'ı; on üçü Applebot-Extended'ı engelliyor.
- On dört site kendi dosyasını kendisi yazmamış. On dört robots.txt, Cloudflare'in içerik sinyalleri politikası metnini taşıyor; bir seçeneği açtığınızda beliren yorum bloğu. Site sahibi orada olduğunu bilmiyor olabilir.
Tam olarak bir site kendini tümüyle kapatıyor
Önce on sekizinin yaptığını sandık. Yanlıştı: kalıbımız blok sınırlarını aşıyor ve belirli bir bot için yazılmış bir Disallow: / satırını herkese uygulanıyormuş gibi sayıyordu. Dosyaları blok blok ayrıştırınca gerçek sayı bire indi.
Bu dosyanın yapmadığı şey
robots.txt'te engellenen bir sayfa yine de Google sonuçlarında çıkabilir, çünkü Google onu dış bağlantılardan tanır ve içeriğini hiç okumamıştır. Sonuç, herkesin gördüğü o açıklamasız kayıttır.
Bir sitenin dizine girmesi ile taranması tam burada karışıyor. Bir sayfayı sonuçların dışında tutmanın doğru aracı noindex etiketidir ve o etiket ancak tarayıcının sayfayı çekmesine izin verilirse okunur. Yani yolu robots.txt'te engellemek, tam olarak noindex'in görülmesini engelleyen şeydir. İkisi birlikte çalışmaz.
Neyi engellemeli, neye dokunmamalı
Engelleyin: site içi arama sonuçları, giriş ve kayıt sayfaları ve sayfanın kopyalarını üreten parametreli adresler. Hiçbiri taranmayı hak etmiyor ve hepsi tarama bütçesi yiyor.
Engellemeyin: CSS ve JavaScript dosyaları. Google sayfayı işler ve stil dosyanızı göremezse bozuk bir site görür. Bu hata eski temalarda hâlâ görülüyor.
Ve crawl-delay yazmayın. Örneklemimizde beş site yazmış; Google bu talimatı hiç desteklemedi ve yok sayıyor. Tarama sunucunuzu zorluyorsa sorun sitenin üzerinde oturduğu yerdedir, bir metin satırında değil.
Kendi dosyamız ve neden böyle olduğu
Bu sitenin robots.txt'i 105 satır ve üç bölüm. Önce değersiz yollar kapatılıyor: dört dilde site içi arama, dört dilde giriş ve kayıt ve dönüş parametresi.
Sonra yapay zekâ tarayıcıları hoş geldiniz başlıklı bir blok geliyor; GPTBot, ClaudeBot, PerplexityBot ve diğerlerine açıkça izin veriyor. Bu bir varsayılan değil bir karar: metnimizin o yanıtlarda alıntılanmasını tercih ediyoruz.
Üçüncüsü, özel teklif yolu herkese kapalı ama bağlantı önizleme botlarına açık; çünkü bu istisna olmadan bir müşteriye WhatsApp'tan gönderdiğimiz bağlantı başlıksız ve görselsiz geliyor. Bunu bir kez zor yoldan öğrendik.
Bu sayımın söyleyemeyecekleri
Talimatların varlığını saydık, doğruluğunu değil. Yanlışlıkla önemli bir şeyi engellemiş bir site bizim rakamlarımızda sağlıklı robots.txt'i olan bir site sayılır. Dosyalar ayrıca tek gün ve tek noktadan okundu; bazı siteler IP ya da kullanıcı aracısına göre farklı dosya sunuyor.
İnsanların gerçekten sorduğu sorular
robots.txt'im yoksa ne olur?
Kötü bir şey olmaz. Dosya yoksa her şey serbesttir. Örneklemimizdeki seksen bir sitenin dosyası var ama yıldız kuralı hiç yok, ki bu aynı kapıya çıkıyor.
Sitemap satırına ihtiyacım var mı?
Zorunlu değil ama faydalı ve 463'ün 397'si taşıyor. Site haritasını bildirmenin daha güvenilir yolu Search Console; robots.txt satırı diğer motorlar için.
Yapay zekâ tarayıcılarını engellemeli miyim?
Bu teknik değil ticari bir karar. Geliriniz doğrudan ziyarete bağlıysa engellemek mantıklı. Yanıtlarda alıntılanmak istiyorsanız izin vermek mantıklı. Biz ikincisini seçtik ve dosyada açıkça yazdık.
Bir yolu engellemek onu Google'dan kaldırır mı?
Hayır ve bazen tersini yapar. Bir sayfa şu an dizindeyse ve gitmesini istiyorsanız önce noindex koyun, kaldırılmasını bekleyin, sonra gerekiyorsa yolu engelleyin. Sıra önemli ve teknik SEO işinde bunu ters yapmak, bir sayfanın sonuçlarda kalmasının en yaygın nedeni.
Dosyanızın gerçekte ne söylediğinden emin değilseniz adresini gönderin. Blok blok okur, hangi kuralların gerçekten yürürlükte olduğunu söyleriz.
3 Eylül 2026'da, Google sonuçlarından 500 Farsça alan adı üzerinde ölçüldü. Her dosya, bütün metinde kalıp aranarak değil blok blok ayrıştırılarak okundu.
Yorumlar ve Sorular
Bu yazı hakkında bir sorunuz mu var? Sorun, yanıtlayalım.
Henüz yorum yok; ilk olun.