ملف robots.txt: ١٨ من ٤٦٣ تحجب زاحف ذكاء اصطناعي

ما الموجود فعلاً داخل تلك الملفات

وسيط الملف تسعة أسطر تعليمات وأكبرها ١٥١٨ سطراً، ووسيط قواعد Disallow تحت النجمة أربع وأكبرها ١٣٩؛ أي أن موقعاً حجب ١٣٩ مساراً وآخر لم يحجب شيئاً، وكلاهما يتصدر.

ثلاث نتائج تناقض الصورة الشائعة

لا أحد تقريباً يحجب زواحف الذكاء الاصطناعي

ثمانية عشر من ٤٦٣. فإن سمعت أن المواقع الإيرانية تغلق الباب أمام الذكاء الاصطناعي فهي لا تفعل. وتلك الثمانية عشر نسخت في الجوهر قائمة واحدة: خمسة عشر تحجب GPTBot وClaudeBot وBytespider، وأربعة عشر تحجب CCBot وAmazonbot وGoogle-Extended، وثلاثة عشر تحجب Applebot-Extended. كتلة واحدة تناقلتها الأيدي.

أربعة عشر موقعاً لم تكتب ملفها بنفسها

أربعة عشر ملفاً تحمل نص سياسة إشارات المحتوى من كلاودفلير، وهي كتلة التعليقات التي تظهر عند تفعيل خيار. وصاحب الموقع لا يعرف بالضرورة أنها هناك. فإن كنت خلف كلاودفلير فافتح ملفك مرة وانظر ما الذي كتب نيابة عنك.

موقع واحد بالضبط يحجب نفسه كلياً

ظننا أولاً أن ثمانية عشر تفعل ذلك. كان ظناً خاطئاً: نمط بحثنا كان يعبر حدود الكتل فيحسب Disallow: / مكتوباً لروبوت بعينه كأنه ينطبق على الجميع. وحين حللنا الملفات كتلة كتلة نزل الرقم الحقيقي إلى واحد.

ما لا يفعله هذا الملف

الصفحة المحجوبة في robots.txt قد تظهر في نتائج جوجل رغم ذلك، لأن جوجل يعرفها من روابط خارجية ولم يقرأ محتواها قط. والنتيجة هي ذلك المدخل بلا وصف الذي رآه الجميع.

وهنا يختلط إدراج الموقع في الفهرس بالزحف إليه. ولإبقاء صفحة خارج النتائج، الأداة الصحيحة وسم noindex، وهذا الوسم لا يقرأ إلا إذا سمح للزاحف بجلب الصفحة. فحجب المسار في robots.txt هو بالضبط ما يمنع رؤية noindex. الاثنان لا يعملان معاً.

ما تحجبه وما تتركه

احجب: نتائج البحث الداخلي، وصفحات الدخول والتسجيل، وعناوين المعاملات التي تنتج نسخاً مكررة من الصفحة. لا شيء منها يستحق الزحف وكلها تستهلك ميزانية الزحف.

ولا تحجب: ملفات CSS وجافاسكربت. جوجل يعرض الصفحة، وإن لم ير ملف التنسيق رأى موقعاً مكسوراً. وهذا الخطأ ما زال يظهر في القوالب القديمة.

ولا تكتب crawl-delay. خمسة مواقع في عينتنا فعلت؛ وجوجل لم يدعم هذه التعليمة قط ويتجاهلها. وإن كان الزحف يرهق خادمك فالمشكلة في ما يجلس عليه الموقع لا في سطر نصي.

ملفنا نحن، ولماذا هو هكذا

ملف هذا الموقع ١٠٥ أسطر في ثلاثة أقسام. أولاً تغلق المسارات عديمة القيمة: البحث الداخلي في اللغات الأربع، والدخول والتسجيل في الأربع، ومعامل العودة.

ثم كتلة عنوانها «زواحف الذكاء الاصطناعي مرحب بها»، تسمح صراحة لروبوتات GPTBot وClaudeBot وPerplexityBot وغيرها. وهذا قرار لا وضع افتراضي: نفضل أن يقتبس نصنا في تلك الإجابات.

وثالثاً، مسار العروض الخاصة مغلق أمام الجميع ومفتوح لروبوتات معاينة الروابط، لأن الرابط الذي نرسله لعميل على واتساب يصل بلا عنوان ولا صورة من دون هذا الاستثناء. تعلمنا هذه بصعوبة مرة واحدة.

ما لا يستطيع هذا العد قوله

عددنا حضور التعليمات لا صحتها. فالموقع الذي حجب شيئاً مهماً خطأً يحسب في أرقامنا موقعاً بملف سليم. كما قرئت الملفات في يوم واحد ومن نقطة واحدة، وبعض المواقع تقدم ملفاً مختلفاً حسب العنوان أو وكيل المستخدم.

أسئلة يطرحها الناس فعلاً

ماذا يحدث إن لم يكن لدي ملف؟

لا شيء سيئ. غياب الملف يعني أن كل شيء مسموح. وواحد وثمانون موقعاً في عينتنا لديها ملف بلا أي قواعد للنجمة، وهو الأمر نفسه عملياً.

هل أحتاج سطر Sitemap؟

ليس مطلوباً لكنه نافع، و٣٩٧ من ٤٦٣ تحمله. وسيرش كونسول طريقة أوثق لإعلان الخريطة؛ وسطر robots.txt للمحركات الأخرى.

هل أحجب زواحف الذكاء الاصطناعي؟

قرار تجاري لا تقني. إن كان دخلك يعتمد على الزيارات المباشرة فالحجب منطقي. وإن أردت أن تقتبس في الإجابات فالسماح منطقي. اخترنا الثاني وقلناه صراحة في الملف.

هل يزيل حجب مسار الصفحة من جوجل؟

لا، وأحياناً يفعل العكس. إن كانت صفحة مفهرسة الآن وتريد إزالتها فضع noindex أولاً وانتظر الإزالة ثم احجب المسار إن احتجت. الترتيب مهم، وفي العمل التقني في السيو يكون عكسه أشيع سبب لبقاء الصفحة في النتائج.

إن لم تكن واثقاً مما يقوله ملفك فأرسل لنا عنوانه. سنقرؤه كتلة كتلة ونقول لك أي القواعد نافذ فعلاً.

قياس أجري في ٣ سبتمبر ٢٠٢٦ على ٥٠٠ نطاق فارسي من نتائج جوجل. حلل كل ملف كتلة كتلة لا بمطابقة نمط على النص كله.