فایل robots.txt به گوگل نمی گوید چه چیزی را ایندکس کند. فقط می گوید چه چیزی را نخزد. این دو یکی نیستند و همین تفاوت، منشا بیشتر اشتباه هایی است که با این فایل انجام می شود.
پانصد دامنه فارسی را چک کردیم. چهارصد و شصت و سه تا یک robots.txt واقعی می فرستند، بیست و پنج تا کد ۲۰۰ نمی دهند و نه تا به جای متن، یک صفحه اچ تی ام ال تحویل می دهند؛ یعنی خزنده به جای دستور، قالب صفحه ۴۰۴ سایت را می خواند.
چه چیزی واقعا داخل این فایل ها هست
| روی ۴۶۳ فایل واقعی | تعداد |
|---|---|
| خط Sitemap دارند | ۳۹۷ (۸۶٪) |
| هیچ قاعده Disallow برای همه ندارند | ۸۱ |
| دست کم یک خزنده هوش مصنوعی را بسته اند | ۱۸ (۴٪) |
| از crawl-delay استفاده کرده اند | ۵ |
| کل سایت را برای همه بسته اند | ۱ |
| متن استاندارد کلادفلر را دارند | ۱۴ |
میانه تعداد خط دستوری نه تاست و بیشترین ۱۵۱۸.
میانه قاعده های Disallow زیر ستاره چهار تاست و بیشترین ۱۳۹. یعنی یک سایت ۱۳۹ مسیر را بسته و سایت دیگری هیچ کدام را، و هر دو رتبه دارند.
سه یافته که با تصور رایج نمی خواند
تقریبا هیچ کس خزنده هوش مصنوعی را نبسته
هجده تا از ۴۶۳. اگر شنیده اید سایت های ایرانی دارند در را روی هوش مصنوعی می بندند، این طور نیست. و آن هجده تا هم عملا یک فهرست را کپی کرده اند: پانزده تا GPTBot و ClaudeBot و Bytespider را بسته اند، چهارده تا CCBot و Amazonbot و Google-Extended، سیزده تا Applebot-Extended. یک بلوک، دست به دست شده.
چهارده سایت این فایل را خودشان ننوشته اند
چهارده robots.txt متن سیاست سیگنال محتوای کلادفلر را دارند، همان بلوک کامنتی که با فعال کردن یک گزینه اضافه می شود. صاحب سایت لزوما نمی داند آنجاست. اگر شما هم پشت کلادفلر هستید، یک بار فایل خودتان را باز کنید و ببینید چه چیزی از طرف شما نوشته شده.
فقط یک سایت کل خودش را بسته است
ما اول فکر کردیم هجده سایت این کار را کرده اند. اشتباه بود: الگوی جستجوی ما از مرز بلوک ها عبور می کرد و یک Disallow: / که برای یک ربات خاص نوشته شده بود را به حساب همه می گذاشت. وقتی فایل ها را بلوک به بلوک تجزیه کردیم، عدد واقعی یک شد.
کاری که این فایل نمی کند
صفحه ای که در robots.txt بسته شده، باز هم می تواند در نتایج گوگل ظاهر شود، چون گوگل آن را از لینک های بیرونی می شناسد و فقط محتوایش را نخوانده است. نتیجه اش همان نتیجه بی توضیحی است که همه دیده ایم.
همین جاست که ثبت و ایندکس شدن سایت با خزیده شدن قاطی می شود. برای بیرون نگه داشتن یک صفحه از نتایج، ابزار درست تگ noindex است، و آن تگ فقط وقتی خوانده می شود که خزنده اجازه خواندن صفحه را داشته باشد. یعنی بستن مسیر در robots.txt، دقیقا جلوی دیده شدن noindex را می گیرد. این دو با هم کار نمی کنند.
چه چیزی را ببندید و چه چیزی را نه
ببندید: نتایج جستجوی داخلی، صفحه ورود و ثبت نام، و آدرس هایی با پارامتر که نسخه تکراری صفحه می سازند. اینها ارزش خزیده شدن ندارند و بودجه خزش را مصرف می کنند.
نبندید: فایل های CSS و جاوااسکریپت. گوگل صفحه را رندر می کند و اگر استایل را نبیند، صفحه شما را شکسته می بیند. این اشتباه هنوز در قالب های قدیمی پیدا می شود.
و crawl-delay را هم ننویسید. پنج سایت در نمونه ما این کار را کرده اند؛ گوگل هرگز از این دستور پشتیبانی نکرده و آن را نادیده می گیرد. اگر خزش سرور شما را اذیت می کند، مشکل ظرفیت سروری که سایت رویش است، نه یک خط متنی.
فایل خود ما، و اینکه چرا این شکلی است
robots.txt این سایت ۱۰۵ خط است و سه بخش دارد. اول مسیرهای بی ارزش بسته شده اند: جستجوی داخلی در هر چهار زبان، ورود و ثبت نام در هر چهار زبان، و پارامتر بازگشت.
بعد یک بلوک هست با عنوان «خزنده های هوش مصنوعی خوش آمدند» که GPTBot و ClaudeBot و PerplexityBot و بقیه را صریحا اجازه می دهد. این یک تصمیم است، نه پیش فرض: ما ترجیح می دهیم متن ما در جواب های این ابزارها نقل شود.
و سوم، مسیر پروپوزال های خصوصی برای همه بسته است ولی برای ربات های پیش نمایش لینک باز است، چون بدون آن، لینکی که در واتساپ برای مشتری می فرستیم بدون عنوان و تصویر باز می شود. این استثنا را یک بار به سختی یاد گرفتیم.
محدودیت این شمارش
ما وجود دستورها را شمردیم، نه درستی شان. سایتی که مسیر مهمی را اشتباه بسته، در آمار ما یک سایت با robots.txt سالم است. همچنین فایل ها در یک روز و از یک نقطه خوانده شده اند و بعضی سایت ها بر اساس آی پی یا user-agent فایل متفاوتی می فرستند.
سوال های متداول
اگر robots.txt نداشته باشم چه می شود؟
هیچ اتفاق بدی. نبودن فایل یعنی همه چیز مجاز است. هشتاد و یک سایت در نمونه ما فایل دارند ولی هیچ قاعده ای برای ستاره ندارند، که عملا همان حالت است.
خط Sitemap لازم است؟
لازم نیست ولی مفید است، و ۳۹۷ سایت از ۴۶۳ تا آن را دارند. سرچ کنسول راه مطمئن تری برای معرفی نقشه سایت است؛ خط robots.txt برای موتورهای دیگر است.
خزنده های هوش مصنوعی را ببندم؟
این یک تصمیم تجاری است نه فنی. اگر مدل درآمدتان به بازدید مستقیم وابسته است، بستن منطقی است. اگر می خواهید در جواب ها نقل شوید، نبستن منطقی است. ما دومی را انتخاب کرده ایم و در فایلمان صریح نوشته ایم.
بستن یک مسیر باعث حذفش از گوگل می شود؟
نه، و گاهی برعکس عمل می کند. اگر صفحه ای الان ایندکس شده و می خواهید حذف شود، اول noindex بگذارید، صبر کنید حذف شود، بعد در صورت نیاز مسیر را ببندید. ترتیب مهم است و در کارهای فنی سئو همین ترتیب اشتباه، متداول ترین دلیل ماندن صفحه در نتایج است.
اگر مطمئن نیستید فایل شما چه چیزی می گوید، آدرس robots.txt سایتتان را بفرستید؛ بلوک به بلوک می خوانیمش و می گوییم کدام قاعده واقعا اثر دارد.
اندازه گیری ۳ سپتامبر ۲۰۲۶ روی ۵۰۰ دامنه فارسی از نتایج گوگل. هر فایل بلوک به بلوک تجزیه شد، نه با جستجوی الگو در کل متن.
دیدگاه ها و پرسش ها
سوالی درباره این مطلب دارید؟ بپرسید؛ پاسخ می دهیم.
هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.