السيو

تعلم السيو التقني طبقةً طبقة

للسيو التقني أربع طبقات يجلس بعضها فوق بعض: أن تُزحف الصفحة، وأن تُعرض، وأن تُفهرس، وأن تُسلَّم بسرعة. وتتعلمها من الأسفل، لأن أي طبقة سفلى معطلة تجعل العمل على ما فوقها بلا أثر.

  • الدرس 7 من 15
  • متوسط
  • مجاني، دون تسجيل

طبقات السيو التقني الأربع، من الأساس إلى السطح

ترتيب الزحف والعرض والفهرسة مأخوذ من رسم غوغل نفسه في وثيقة الجافاسكربت. التعلم من الأسفل والملاحظة من الأعلى.

  • سرعة التسليمالطبقة الوحيدة التي يراها العميل، وآخر طبقة ينبغي أن تصل إليها مرئية
  • الفهرسةرابط فريد، ووسم canonical، وصفحة لديها ما تقوله قرار غوغل
  • العرضالنص الذي لا يبنيه إلا الجافاسكربت ينتظر في طابور ثانٍ طابور منفصل
  • الزحفالعثور عبر رابط، والإذن في robots.txt، ورد صحيح من الخادم الأساس

هذه الطبقات الأربع نموذج تعليمي لا تصنيف رسمي من غوغل. وفائدتها أنها تقول أي مشكلة تحل أولاً.

آخر مراجعة: تُراجع الحقائق وأسماء الأدوات في هذا الدرس مقابل مصادرها في هذا التاريخ.

من أي طبقات يتكون السيو التقني؟

أربع طبقات، وكل واحدة شرط للتي تليها. فالصفحة يجب أن تكون قابلة للوصول كي تُزحف، وأن تُزحف كي تُعرض، وأن تُعرض كي يُفهرس نصها، وأن تُفهرس قبل أن يعني الحديث عن السرعة أي شيء.

وهنا نقطة تقلبها معظم قوائم التحقق. فترتيب غوغل نفسه، بحسب الرسم في وثيقته عن الجافاسكربت، هو الزحف ثم العرض ثم الفهرسة. فالعرض بينهما لا بعد الفهرسة. وللصفحة التي يُبنى نصها بالجافاسكربت، يقرر هذا التبديل وحده أيدخل النص الفهرس أصلاً أم لا.

أما ترتيب التعلم فليس ترتيب الآلة، ولا يلزم أن يكون. فأنت تتعلم من الأسفل لأن كل طبقة شرط لما فوقها؛ لكنك تلاحظ المشكلة من الأعلى، لأن السرعة هي الطبقة الوحيدة التي تراها أنت ويراها عميلك. ومن يخلط بين الاثنين يقضي ستة أشهر على السرعة والصفحة لم تُفهرس أصلاً.

وحد يوفر وقتاً كثيراً: أي هذه الطبقات أكثر أثراً في الترتيب نقاش آخر، وقد كتبناه منفصلاً. فمقال ما السيو التقني وأي جزء منه يؤثر فعلاً يستخرج تلك الأولوية من مشاريع حقيقية. وهذا الدرس لا يرتب الأولويات؛ بل يعطي مسار تعلم ويقول في كل طبقة ما الذي تفحصه.

طبقة الزحف: كيف أعرف أن غوغل يصل إلى الصفحة؟

الزحف يعني أن يجد زاحف غوغل العنوان، وأن يكون مسموحاً له بجلبه، وأن يردّ الخادم عليه. ثلاثة شروط منفصلة، وكل واحد يتعطل وحده.

والعثور يأتي من الروابط. فالصفحة التي لا يشير إليها رابط داخلي والموجودة في خريطة الموقع فقط صفحة هامشية في نظر غوغل. والفحص الأول دائماً هذا: انطلاقاً من الصفحة الرئيسية، بكم نقرة تصل إليها؟

والإذن يأتي من ملف robots.txt، وهنا قاعدة لا يكاد يكتبها أحد. يقول غوغل إن مجموعة واحدة فقط صالحة لكل زاحف: فالزاحف يختار المجموعة التي يطابق اسمها اسمه بأدق صورة، ويتجاهل بقية المجموعات. والجملة التالية في الوثيقة أصرح: المجموعات المخصصة والمجموعة الشاملة لا تُدمجان.

أي أنك إن كتبت مجموعة منفصلة لروبوت مسمّى، فذلك الروبوت لا يرى أي قاعدة من قواعد مجموعة النجمة. اقرأ ملف robots.txt الخاص بك مرة بهذه العين؛ فمن المرجح أن قواعد ظننتها تسري في كل مكان مكتوبة لجزء من زواحفك فقط.

ولا تُسقط النصف الثاني من القاعدة نفسها، فأنت تحتاجه لحظة قراءة ملف حقيقي: عدة مجموعات مكتوبة كلها لزاحف واحد تُدمج معاً. ففي ملف يعلن مجموعة النجمة ثلاث مرات، ينال الزاحف الذي لا مجموعة خاصة له قواعد الثلاث جميعاً. النصف الأول من القاعدة يقول أي مجموعة تتجاهل، والنصف الثاني يقول أي المجموعات تقرؤها معاً، ومن يعرف النصف الأول وحده يقرأ الملف الحقيقي خطأً.

أما الشرط الثالث، رد الخادم، فأبسطها ويأكل أكثر الوقت: رمز ٢٠٠ لصفحة يجب أن تبقى، و٣٠١ لصفحة انتقلت، و٤٠٤ لصفحة غير موجودة فعلاً. والصفحة التي ذهب محتواها وما زالت تعيد ٢٠٠ هي ما يسمى الخطأ الليّن، وهي أسوأ من الحالتين الأخريين.

لماذا الحجب في robots.txt ليس هو noindex؟

إن كان شيء واحد فقط سيبقى من هذا الدرس، فليكن هذا القسم.

ملف robots.txt يقول لا تقرأ. وقاعدة noindex تقول قرأتها، والآن لا تعرضها في النتائج. الأول تحكم في طبقة الزحف والثاني تحكم في طبقة الفهرسة، وإن وضعتهما معاً على صفحة واحدة لم يُقرأ الثاني أبداً.

ويقول غوغل ذلك بوضوح تام: كي تكون قاعدة noindex فعالة، يجب ألا تكون الصفحة محجوبة بملف robots.txt وأن تكون متاحة للزاحف؛ فإن كانت محجوبة لم يرَ الزاحف تلك القاعدة أبداً وأمكن أن تظل الصفحة تظهر في النتائج، مثلاً حين تربط بها صفحات أخرى.

فالصفحة التي تريد إخراجها من النتائج ينبغي أن تبقى مفتوحة كي يدخل الزاحف ويرى الوسم. وهذا عكس ما يقوله الحدس تماماً، ولهذا يرتكب أحدهم هذا الخطأ بعينه كل شهر.

وفي وثيقة أخرى، تلك التي تتحدث عن الروابط المكررة، يعود غوغل إلى الأمر نفسه ويكتب: لا تستخدم robots.txt لتوحيد الروابط، لأن غوغل قد يظل يفهرس روابط محظورة فيه دون محتواها. صفحتان مستقلتان ورسالة واحدة: الحجب ليس هو الحذف.

الصفحة ليست في النتائج. أي تحكم لمست؟

تحكمان يتشابه اسماهما ويختلف موضعهما. واستعمالهما معاً يعطّل الثاني.

هل الصفحة محجوبة في robots.txt؟

نعم، محجوبة

وسم noindex لا يُقرأ أبداً

  • لا يدخل الزاحف الصفحة، فلا يرى الوسم الذي فيها
  • وإن ربطت بها صفحات أخرى فقد تظل تظهر في النتائج
  • الصواب: ارفع الحجب أولاً ثم ضع الوسم
لا، مفتوحة

الآن انتقل إلى طبقة الفهرسة

  • وسم robots في الصفحة: أفيه noindex أم لا
  • إلى أي رابط يشير وسم canonical
  • ثم Search Console، وهو المكان الوحيد الذي يقول حالة الفهرسة الحقيقية

لا شيء من هذين فوري. وحتى يعود غوغل إلى الصفحة تبقى النتيجة القديمة مكانها.

طبقة العرض: هل يرى غوغل ما تراه أنت؟

متصفحك ينفّذ الجافاسكربت فتكتمل الصفحة. وغوغل ينفّذه أيضاً، لكن ليس في اللحظة نفسها.

تقول وثيقة غوغل نفسها إن الزاحف يضع الصفحات في طابور للزحف وللعرض معاً، وتضيف أنه لا يتضح من الخارج أالصفحة تنتظر الزحف أم تنتظر العرض. أي أن بين لحظة أخذ غوغل كود صفحتك ولحظة رؤيته النص الذي بناه سكربتك فجوة لا تحدد أنت طولها.

وفحص هذه الطبقة أبسطها جميعاً ولا يحتاج أي أداة. خذ الكود الخام للصفحة، لا ما تراه في أدوات المطور في متصفحك، وابحث فيه عن جملة من المتن الأصلي. فإن كانت الجملة هناك فطبقة العرض ليست مشكلتك. وإن لم تكن، فنصك موجود للمتصفح وحده.

ومعظم الشروح تضيّع الفرق بين الاثنين: فالكود الذي تراه في لسان Elements في أدوات المطور هو الكود المعروض وهو ممتلئ دائماً. والمهم هو الجواب الذي أرسله الخادم دون تشغيل أي سكربت.

وإن غابت الجملة فالجواب ليس دائماً إعادة كتابة الموقع كله. فيكفي لمعظم المواقع المحتوائية أن يصل النص الأساسي في جواب الخادم الأول، وأن يُبنى باقي الصفحة، كالتعليقات والاقتراحات، بالسكربت لاحقاً.

طبقة الفهرسة: الصفحة موجودة والنتيجة غائبة

الفهرسة ليست حقاً بل اختيار من غوغل. فالصفحة التي زُحفت وعُرضت قد لا تدخل الفهرس، وأشيع أسباب ذلك ليس تقنياً أصلاً: الصفحة لا تحمل شيئاً غير موجود في النتائج.

أما أشيع سبب تقني فهو تكرار الرابط. فالمنتج الذي يُفتح من ثلاثة مسارات تصنيف له ثلاثة روابط؛ والنسخة بـwww وبدونها، وبالشرطة المائلة في النهاية وبدونها، وكل رابط تبنيه معاملات التصفية، كلها تضاف إلى الكومة. ويختار غوغل واحداً منها وينحّي الباقي، واختياره ليس بالضرورة اختيارك.

وقد سرد غوغل طرق إعلان اختيارك مرتبةً بالقوة: إعادة التوجيه إشارة قوية، ووسم canonical إشارة قوية، والوجود في خريطة الموقع إشارة ضعيفة. وهناك ثلاث أخرى لا تنفع أبداً ويجربها الناس دائماً: robots.txt، وأداة حذف الروابط، والأمل.

والكلمة المتكررة في تلك القائمة إشارة لا أمر. فوسم canonical لا يُجبر غوغل، وهذا بالضبط ما يغيظ كثيرين. وإن كان لرابطين محتوى مختلف فعلاً، فوضع canonical على أحدهما لا يمحو المسألة.

وتحذير عملي يعود إلى التمييز بين مسألتين: الرابط المكرر شيء، ومقالان منفصلان يتنافسان على عبارة واحدة شيء آخر. وللثاني ليس canonical هو الجواب. وإن لم تكن واثقاً أيّ الحالتين لديك، فابدأ بـإضافة الموقع إلى غوغل ومشكلة عدم الفهرسة، فهو يفتح هذا التشخيص من أساسه.

طبقة السرعة قصيرة هنا عن قصد

السرعة هي الطبقة الرابعة وتأخذ هنا فقرتين لا أكثر. والسبب أن سرعة الموقع مسار كامل بذاته، والمكان الصحيح للحديث عنها هو مسار تسريع الموقع، لا قسم من درس في السيو التقني.

وما تحتاجه من هذا الدرس جملة واحدة: السرعة هي الطبقة التي تبدأ أهميتها حين تسلم الطبقات الثلاث تحتها، لا قبل ذلك. فالصفحة غير المفهرسة تنال صفر زيارة ولو كانت درجتها مئة. والعكس صحيح أيضاً؛ فالصفحة التي سلمت طبقاتها الثلاث الأولى وتُحمّل ببطء لديها مشكلة يحسّها قارئها قبل غوغل.

الموقع متعدد اللغات يضيف طبقة

إن كان موقعك بلغة واحدة فتجاوز هذا القسم. وإن لم يكن، فهنا تضيع معظم المشاريع وقتها.

حين توجد الصفحة نفسها في أربعة روابط، يجب أن تُعرَّف الأربعة بعضها ببعض، وأن يُدرج كل واحد نفسه في قائمة التعريفات أيضاً. فإن لم تسمِّ النسخة الإنجليزية نفسها في قائمتها كانت تلك العلاقة ناقصة. وهذا من الأشياء التي تُفحص بنظرة واحدة إلى كود الصفحة ولا يكاد أحد يفحصها.

والنقطة الثانية، وهي أقل كتابةً، تعود إلى robots.txt. فمطابقة المسار في ذلك الملف حرفية، أي أن كتابة قاعدة لمسار لا تغطي المسار نفسه ببادئة لغة. والموقع الذي تفصل لغاته بادئة في الرابط عليه أن يكتب كل قاعدة بعدد لغاته، وإلا بقيت النسخ اللغوية لذلك المسار بلا قاعدة.

وأمر يفاجئ كثيرين: خريطة الموقع تحتاج العلاقة نفسها. فإن كانت إضافة السيو لديك تضع روابط اللغة الأساسية وحدها في الخريطة، عُثر على بقية اللغات عبر الروابط الداخلية فقط، فصارت تلك الصفحات الهامشية التي ذكرناها في طبقة الزحف.

من أين أبدأ وكيف أفحص كل طبقة؟

الترتيب أدناه هو الذي يُنفَّذ في المشروع، وهو نفسه ترتيب التعلم. ولكل مرحلة فحص إما أن يجيب أو لا؛ فإن لم يجب فالمرحلة التالية بلا معنى.

أولاً مسار الروابط: بكم نقرة من الصفحة الرئيسية تُبلَغ الصفحة. ثانياً الإذن: ليست محجوبة في robots.txt، والمجموعة التي تسري عليها فعلاً هي المجموعة التي ظننتها. ثالثاً رد الخادم: رمز الحالة هو ما ينبغي أن يكون. رابعاً العرض: جملة من المتن يمكن العثور عليها في الكود الخام للصفحة. خامساً الفهرسة: الصفحة في الفهرس، وهذا وحده ما لا يجيب عنه إلا Search Console، لا أداة أخرى ولا نموذج لغوي. سادساً السرعة.

وتحذير عن الفحص نفسه، جاء من الممارسة ولا يرد في أي شرح: حين تبحث في كود الصفحة عن وسم robots، انتبه لشكل علامات الاقتباس. فووردبريس وإضافات السيو تطبع هذه الخاصية أحياناً بعلامة مفردة وأحياناً بمزدوجة، والبحث الذي يعرف شكلاً واحداً فقط يبلّغ بسهولة أن الوسم غير موجود. ويمكن رؤية ذلك في هذا الموقع بالذات.

وإن كنت تفضل ألا تفعل هذا بنفسك، فهذا الترتيب نفسه هو ما نبدأ منه في سيو الموقع؛ لا لأنه أنيق، بل لأن العمل على الطبقة الخاطئة أغلى خطأ في هذا المجال.

ستة فحوص، بالترتيب الذي تُنفَّذ به

كل درجة إما تجيب أو لا. فإن لم تجب فلا تصعد إلى التالية؛ فمشكلتك هناك.

  1. مسار الروابط

    بكم نقرة من الصفحة الرئيسية تصل إلى هذه الصفحة؟

    1
  2. الإذن

    غير محجوبة في robots.txt، والمجموعة السارية هي التي ظننتها

    2
  3. رد الخادم

    رمز الحالة هو ما ينبغي، والصفحة الفارغة لا تعيد ٢٠٠

    3
  4. العرض

    جملة من المتن يمكن العثور عليها في الكود الخام للصفحة

    4
  5. الفهرسة

    الصفحة في الفهرس. وجوابها في Search Console وحده.

    5
  6. السرعة

    الآن، والآن فقط، انتقل إلى السرعة

    6

لا تجيب عن الدرجة الخامسة أي أداة خارجية ولا أي نموذج لغوي. فحالة الفهرسة تأتي من Search Console وحده.

المسار السريع مع الذكاء الاصطناعي

السيو التقني هو الجزء الوحيد من السيو الذي يعمل فيه النموذج اللغوي جيداً فعلاً، والسبب بسيط: مدخلاته نصوص وأسئلته لها أجوبة صحيحة. فترويسات الاستجابة ووسوم رأس الصفحة وملف robots.txt ثلاث قطع نصية قصيرة، ويستطيع النموذج إيجاد التناقض بينها في ثوانٍ، وهو ما يفعله الإنسان بالعين أبطأ. ويكفي هنا نموذج رخيص وسريع من طبقة فلاش، فالعمل استخراج ومطابقة لا حكم؛ واختيارنا الحالي في <a class="text-link" href="/ar/ai/">قسم الذكاء الاصطناعي</a>.

  1. أنشئ المدخلات الثلاثة بالأوامر في أعلى الوصفة: ترويسات الاستجابة، ووسوم رأس الصفحة، وملف robots.txt.
  2. الأمر الثالث مهم ويُتخطى عادةً: استخرج الوسوم وحدها. فالكود الكامل لصفحة مئات الكيلوبايتات، وفي موقع يضع تنسيقاته داخل الصفحة يكون حتى قسم الرأس كبيراً على النموذج.
  3. شغّل الوصفة. المخرج حكم لكل طبقة، ومعه السطر نفسه من المدخلات الذي أنتج ذلك الحكم.
  4. أصلح أدنى طبقة حكمها سلبي أولاً، ثم خذ المدخلات الثلاثة نفسها من جديد. ولا تلمس الطبقات الأعلى قبل ذلك.

وصفة جاهزة للنسخ

U="https://example.com/page/"

curl -s -I -A "Mozilla/5.0" "$U"
curl -s -A "Mozilla/5.0" "$U" > page.html
tr -d '\n' < page.html | grep -oiE '<(title[^>]*>[^<]*</title|link[^>]*|meta[^>]*)>'
curl -s "https://example.com/robots.txt"
grep -c "جملة من متن الصفحة" page.html

---- الوصفة، بعد الحصول على مخرجات الأوامر الأربعة أعلاه ----

الدور: مراجع تقني. احكم من المدخلات وحدها ولا تخمّن شيئاً.

رابط الصفحة: {الرابط}
ترويسات الاستجابة:
{مخرج الأمر الأول}
وسوم رأس الصفحة:
{مخرج الأمر الثالث}
ملف robots.txt:
{مخرج الأمر الرابع}
عدد مرات العثور على جملة المتن في الكود الخام: {عدد}

اكتب صفاً لكل طبقة بثلاثة أعمدة: الطبقة، والحكم، وسطر المدخلات الذي أنتج الحكم.

الطبقات وأسئلتها:
١. الزحف: هل مسار هذه الصفحة محجوب في robots.txt؟ جد أولاً المجموعة الصالحة لزاحف غوغل. وطبّق نصفي القاعدة معاً: المجموعة المخصصة لا تُدمج مع مجموعة النجمة، لكن عدة مجموعات مكتوبة كلها لزاحف واحد تُدمج معاً. فإن أعلن الملف مجموعة النجمة أكثر من مرة ولم يكن فيه مجموعة مخصصة لزاحف غوغل، فاقرأ قواعد كل مجموعات النجمة معاً.
٢. رد الخادم: ما رمز الحالة، وهل في المسار إعادة توجيه.
٣. العرض: أعدد المرات صفر أم لا.
٤. الفهرسة: ماذا يقول وسم robots في الرأس، وماذا تقول ترويسة x-robots-tag، وهل يشير وسم canonical إلى هذا الرابط نفسه أم إلى غيره.

القواعد:
- إن لم يكن في المدخلات وسم robots ولا ترويسة x-robots-tag فالحكم «غير موجود» لا «فيه مشكلة». فغيابهما يعني الحالة الافتراضية.
- قد تُكتب وسوم الرأس بعلامة اقتباس مفردة أو مزدوجة. عدّهما واحداً.
- وإن كان شيء غير معلوم من المدخلات فاكتب «غير معلوم من هذه المدخلات» وتوقف.
- لا تصدر أي حكم عن كون الصفحة مفهرسة أم لا. فهذا لا يخرج من هذه المدخلات.
- واختم بجملة واحدة: ما أدنى طبقة حكمها سلبي.

قبل أن تثق بالناتج: ثلاثة أمور لا تخرج من هذه الوصفة وعليك أن تعرفها بنفسك. الأول أن المدخل الثالث هو الكود الخام، فكل ما تضيفه الجافاسكربت إلى الرأس ليس فيه؛ فإن كان سكربت يضع وسم canonical في موقعك فالنموذج لا يراه ويصدق حين يقول إنه غائب. والثاني أن حالة الفهرسة الحقيقية ليست في أي من هذه المدخلات الأربعة ولا يستطيع أي نموذج قولها؛ فذلك الجواب يأتي من Search Console الخاص بذلك الموقع وحده. والثالث وهو أهم منهما: مخرج هذه الوصفة تشخيص لا أمر تنفيذ. فملف robots.txt ووسم canonical هما بالضبط الموضعان اللذان يستطيع فيهما خطأ واحد، إن طُبّق على الموقع كله، أن يخرج الموقع من النتائج. غيّرهما واحداً واحداً وانظر بعد كل تغيير.

الذكاء الاصطناعي في هذا العمل

موقف هذا الدرس: في طبقات الزحف والعرض والفهرسة يكون النموذج اللغوي مساعداً جيداً، وفي طبقة القرار لا. ويظهر الفرق حين ينتقل السؤال من «ماذا يقول هذا الوسم» إلى «هل أغيّر هذا الوسم». فللأول جواب في النص. أما الثاني فيحتاج ما لا يملكه النموذج: ما ترتيب هذه الصفحة الآن وما الذي يُفقد إن أفسدتها.

أدوات تساعد فعلا

  • Google Search Console المكان الوحيد الذي يقول حالة الفهرسة الحقيقية لصفحة. لا تعرفها أي أداة خارجية ولا أي نموذج، لأن هذه البيانات عند غوغل وحده.
  • Claude لتشغيل الوصفة أعلاه ولقراءة ملف robots.txt طويل، لأنه يقبل القيود ويقول من أي سطر استخرج حكمه. وإيران ليست في قائمة الدول المدعومة لدى أنثروبيك ولا يوجد مسار دفع رسمي منها.
  • Gemini للعمل نفسه حين تطول المدخلات. وتقول صفحة غوغل نفسها إن تطبيق Gemini على الويب يعمل في أكثر من ٢٣٠ دولة وإقليماً، وإيران ليست في تلك القائمة.
  • RGB طبقة الوصول والدفع لإيران، منفصلة عن الأدوات نفسها.

اين ينقلب ضدك

الخطر هنا يختلف عن خطر المحتوى وهو أشد. ففي المحتوى يمكن تغيير جملة سيئة غداً؛ أما في السيو التقني فقيمة خاطئة واحدة تُطبق على الموقع كله قد تخرجه من النتائج ويستغرق رجوعه أسابيع. وثلاثة ملفات لها هذه الخاصية: robots.txt، ووسم canonical، ووسم robots. وفي هذه الثلاثة بالذات يخطئ النموذج أكثر ما يخطئ، لأن قواعدها مليئة بحالات متقاربة. ومثالها قاعدة المجموعات: فالنموذج الذي لا يعرف أن مجموعة مسمّاة لا ترث مجموعة النجمة سيقول لك بثقة تامة إن قاعدتك تسري على كل الزواحف. والدفاع بسيط وهو مضمَّن في الوصفة أعلاه: اطلب من النموذج أن يضع سطر المدخلات بجانب كل حكم. فالحكم الذي لا يستطيع إظهار سطره لم يُفحص.

المصادر: Google Search Central: introduction to robots.txt Google Search Central: block search indexing with noindex Google Search Central: understand the JavaScript SEO basics

حدود هذه النصيحة

السيو التقني يرفع السقف ولا يضع شيئاً تحته. فالصفحة التي سلمت طبقاتها الأربع ولا تجيب سؤال أحد لا تترتب بأي ضبط تقني. ونموذج الطبقات الأربع نفسه تبسيط تعليمي لا تصنيف رسمي من غوغل؛ فغوغل يعدّ ثلاث مراحل في وثيقة الجافاسكربت ويشرح السرعة في مكان آخر. وحيثما اختلف هذا الدرس مع وثيقة غوغل، فالوثيقة هي الصحيحة.

من عملنا نحن

يمكنك عدّ قاعدة المجموعات في هذا الموقع بالذات. افتح ملف robots.txt لدينا: سطر Disallow لمسار الدخول مكتوب أربع مرات في مجموعة النجمة، ثم تتكرر تلك الأسطر الأربعة نفسها حرفياً في مجموعة زواحف الذكاء الاصطناعي، أي ثمانية أسطر لمسار واحد. وهذا التكرار ليس حشواً؛ بل نتيجة القاعدة التي ذكرناها في قسم الزحف. فما دامت تلك المجموعة تحمل سطر Allow وحده، لم تكن الروبوتات المسمّاة فيها تحمل أياً من قيود مجموعة النجمة. ولكتابة كل مسار أربع مرات سببها أيضاً: فالمطابقة في ذلك الملف حرفية، والنسخ اللغوية للمسار نفسه روابط منفصلة. أما سبب حجب هذين المسارين أصلاً فمكتوب في التعليق فوق ذلك الكود: صفحتا الدخول والتسجيل تأخذان معاملاً يرمّز الرابط الحالي داخله، فكان كل رابط يولّد رابطاً جديداً ويبني شجرة لا نهائية لا ينهيها زاحف أبداً. وفي ذلك اليوم، الثامن من أغسطس ٢٠٢٦، أنتج ذلك عشرة غيغابايت من السجلات وملأ القرص.

اسئلة متابعة حقيقية

ما الفرق بين الزحف والفهرسة؟

الزحف يعني أن غوغل قرأ الصفحة. والفهرسة تعني أنه بعد قراءتها قرر الاحتفاظ بها في فهرسه. وقد تُزحف الصفحة ولا تُفهرس، وهذه الحالة أشيع ما يفاجئ الناس في Search Console.

هل يمكن حذف صفحة من النتائج بـrobots.txt؟

لا. يقول غوغل نفسه إن صفحة محجوبة في robots.txt قد تظل تظهر في النتائج، مثلاً حين يربط بها شيء آخر. ولإخراج صفحة من النتائج يجب أن تبقى مفتوحة كي يرى الزاحف قاعدة noindex.

هل أحتاج معرفة البرمجة للسيو التقني؟

للتشخيص لا. فالفحوص الستة كلها في هذا الدرس تُنجز بلا سطر كود ومعظمها مجرد نظر في ملف نصي. أما لإصلاح بعض المشكلات فنعم، خصوصاً في طبقة العرض حيث تدخل إلى القالب وكود الموقع؛ لكن التشخيص الصحيح هو ما يحدد أصلاً أيحتاج أحد إلى لمس الكود أم لا.