Ücretsiz, kayıt gerekmez

robots.txt ve Site Haritası Kontrolü

Alan adınızın robots.txt dosyası okunur ve tablolanır, bildirilen site haritaları açılır ve URL'leri sayılır, siteyi Google'dan gizleyen yinelenen hatalar işaretlenir.

  • Kayıt gerekmez
  • Site haritası URL sayımı
  • Yaygın hatalar işaretlenir

Aracı burada çalıştırın

Googlebot'un neyi taramasına izin verildiğini ve site haritanızın sağlıklı olup olmadığını görün.

  • Maliyeti Ücretsiz
  • Veri kaynağı Kendi sunucumuz
  • Erişim Kayıt gerekmez

Bu araç kendi sunucumuzda çalışır ve onun için veri satın almıyoruz, bu yüzden ücretsizdir ve öyle kalacak. Sadece bir botun tüm kapasiteyi yutmaması için günlük bir sınırı var. Günlük sınır ziyaretçi başına sayılır. Daha fazlasına ihtiyacınız varsa ücretsiz bir hesap sınırınızı yükseltir.

Kısa yanıt

robots.txt dosyası tarayıcılara sitenin hangi bölümlerini taramayacaklarını söyler, site haritası ise hangi URL'lerin var olduğunu ve ne zaman değiştiğini söyler. Bir sayfanız dizine girmiyorsa, bakılacak ilk yer başka her şeyden önce bu iki dosyadır.

Bir sitenin başına gelen en kötü şey tek bir satırdır: Disallow: / . Her hazırlık ortamında bu satır vardır ve olması da doğrudur, ama site hazırlıktan canlı sunucuya taşındığında genellikle onunla birlikte gider ve tüm siteyi Google'dan kaldırır. Hiçbir yerde uyarı çıkmaz; trafik birkaç hafta içinde sıfıra doğru kayar ve kimse nedenini bilmez. Bir siteyi her taşıdığınızda bunu ilk gün kontrol edin.

İran'daki WordPress sitelerinde sürekli gördüğümüz hata wp-content'i engellemektir. Mantığı bir zamanlar doğruydu, artık değil: Google, sayfanızın mobil uyumlu olup olmadığını anlamak için CSS ve JavaScript'ini görmek zorundadır ve bunların hepsi wp-content içinde yaşar. O klasörü engellerseniz Google sayfayı biçimlendirmesiz görür ve şekilsiz bir sayfa hakkında hüküm verir.

Site haritalarında okumaya değer sayı, haritadaki URL sayısı ile Search Console'daki dizine eklenmiş sayfa sayısı arasındaki farktır. Haritada bin URL varsa ve Google iki yüzünü dizine eklemişse, sorun harita değildir; Google sekiz yüz sayfayı görmüş ve dizine eklemeye değmez bulmuştur. O zaman doğru soru, harita dosyası hakkında değil, o sayfaların kalitesi hakkındadır.

Veri nereden geliyor

Sunucumuz dosyayı doğrudan alan adınızdan alır; üçüncü taraf hizmet yoktur ve maliyeti yoktur. robots.txt site haritası bildirmiyorsa alışılmış yollar da denenir. Sürekli gördüğümüz bir şey: birçok İran WordPress sitesi hâlâ wp-content'i engelliyor, bu da Google'ın sayfayı CSS olmadan işlemesine ve mobil uyumlu saymamasına yol açıyor.

Ne zaman işe yarar

Bir sayfa dizine eklenmiyorsa kontrol edilecek ilk şey. Ayrıca her site taşıma veya sunucu değişikliğinden sonra, çünkü test ortamının robots.txt dosyası genellikle Disallow: / taşır ve tüm siteyi Google'dan siler.

Nerede işe yaramaz

Bu araç robots.txt'in neye izin verdiğini söyler, Google'ın gerçekte ne yaptığını değil. Bir sayfa robots.txt'te tamamen izinli olabilir ve yine de dizine girmeyebilir; çünkü Google değer görmemiştir ya da canonical'ı başka yeri işaret ediyordur. Tersi de olur: robots.txt'te engellenmiş ama başka yerden bağlantı almış bir sayfa, bazen boş bir başlıkla sonuçlarda görünür, çünkü robots tarama iznini kaldırır, dizine ekleme iznini değil. Dizine ekleme için doğru araç noindex etiketidir, robots.txt değil. Google'ın bir URL ile gerçekte ne yaptığını görmek için tek doğru kaynak o sitenin kendi Search Console'udur.

Kullanırken öğrendiğimiz bir şey

robots.txt bir site haritası bildirmiyorsa, bu araç alışılmış yolları da dener: sitemap.xml, sitemap_index.xml ve wp-sitemap.xml. Bunu bilerek ekledik, çünkü uygulamada var olan ve sağlıklı olan ama hiçbir yerde bildirilmemiş bir site haritasını, sahibi hiç olmadığını sanırken defalarca gördük. Site haritasını robots.txt'te bildirmek tek bir satırdır ve sitenize ilk kez ulaşan bir tarayıcıya nereden başlayacağını söyleyen şey o tek satırdır.

Maliyeti

Bu araç kendi sunucumuzda çalışır ve onun için veri satın almıyoruz, bu yüzden ücretsizdir ve öyle kalacak. Sadece bir botun tüm kapasiteyi yutmaması için günlük bir sınırı var.

Günlük sınır ziyaretçi başına sayılır. Daha fazlasına ihtiyacınız varsa ücretsiz bir hesap sınırınızı yükseltir.

Bu araçla ilgili sorular

robots.txt'im yoksa sorun olur mu?

Mutlaka değil. Dosyanın olmaması her şeye izin verildiği anlamına gelir ki çoğu küçük site için istenen tam da budur. Dosya, iç arama sayfaları ya da mağaza filtreleri gibi bölümleri taramanın dışında tutmak istediğinizde gerekli hâle gelir.

Disallow bir sayfayı Google'dan kaldırabilir mi?

Güvenilir biçimde değil. Sayfaya başka yerden bağlantı varsa boş bir başlıkla sonuçlarda kalabilir. Gerçek kaldırma için noindex etiketini kullanın ve daha da önemlisi aynı sayfayı robots.txt'te engellemeyin, çünkü Google noindex'i görebilmek için sayfayı tarayabilmelidir.

Site haritası ne sıklıkla güncellenmeli?

Otomatik olarak, yayımlanan her yeni içerikle. Neredeyse her WordPress SEO eklentisi bunu yapar. Elle oluşturulmuş ve aylardır güncellenmemiş bir site haritası, hiç olmamasından kötüdür, çünkü tarayıcıyı artık var olmayan URL'lere gönderir.