بررسی robots.txt و نقشه سایت

فایل robots.txt به ربات ها می گوید کدام بخش های سایت را نخزند، و نقشه سایت به آنها می گوید کدام آدرس ها وجود دارند و کی به روز شده اند. اگر صفحه ای از سایتتان ایندکس نمی شود، این دو فایل اولین جایی هستند که باید نگاه کنید، پیش از هر کار دیگری.

بدترین اتفاقی که برای یک سایت می افتد یک خط است: Disallow: / . این خط را همه محیط های تست دارند و درست هم هست که داشته باشند، ولی وقتی سایت از تست به سرور اصلی منتقل می شود معمولا با خودش می آید و کل سایت را از گوگل حذف می کند. هیچ هشداری هم جایی نمی آید؛ فقط ترافیک ظرف چند هفته به صفر میل می کند و کسی نمی فهمد چرا. هر بار که سایتی را منتقل کردید، همان روز اول این را چک کنید.

نکته ای که مدام روی سایت های وردپرسی ایرانی می بینیم مسدود کردن wp-content است. منطقش زمانی درست بود ولی امروز نیست: گوگل برای اینکه بفهمد صفحه شما موبایل فرندلی است باید CSS و جاوااسکریپت آن را ببیند، و آنها همه داخل wp-content هستند. با مسدود کردن آن پوشه، گوگل صفحه را بدون استایل می بیند و درباره یک صفحه بی شکل قضاوت می کند.

درباره نقشه سایت، عددی که ارزش نگاه کردن دارد فاصله بین تعداد آدرس های داخل نقشه و تعداد صفحات ایندکس شده در سرچ کنسول است. اگر نقشه هزار آدرس دارد و گوگل دویست تا را ایندکس کرده، مشکل نقشه نیست؛ گوگل هشتصد صفحه را دیده و ارزش ایندکس ندانسته. آن وقت سوال درست درباره کیفیت آن صفحات است، نه درباره فایل نقشه.

سرور ما فایل را مستقیم از دامنه شما می‌گیرد؛ هیچ سرویس بیرونی در کار نیست و هیچ هزینه‌ای هم ندارد. اگر robots.txt نقشه سایت را اعلام نکرده باشد، مسیرهای متعارف (sitemap.xml و sitemap_index.xml و wp-sitemap.xml) هم امتحان می‌شوند. نکته‌ای که مدام می‌بینیم: خیلی از سایت‌های وردپرسی ایرانی هنوز wp-content را مسدود می‌کنند، و همین باعث می‌شود گوگل صفحه را بدون CSS ببیند و موبایل‌فرندلی حسابش نکند.

این ابزار روی سرور خودمان اجرا می شود و هیچ داده ای برایش نمی خریم، پس رایگان است و رایگان می ماند. فقط برای اینکه یک ربات کل ظرفیت را نبلعد، سقف روزانه دارد.

سقف روزانه برای هر بازدیدکننده حساب می شود. اگر بیشتر لازم دارید، با یک حساب رایگان سقفتان بالاتر می رود.

همه ابزارهای سئو