كيف يعمل محرك البحث
محرك البحث لا يبحث في الويب الحي، بل يجيب من نسخة قرأها سابقاً وحفظها في فهرس. فالترتيب يعني أن تُكتشف أولاً، وأن تُقرأ صفحتك قراءة صحيحة ثانياً، وأن تكون أفضل من بقية الفهرس أخيراً.
- الدرس 1 من 2
- مبتدئ
- مجاني، دون تسجيل
من الرابط إلى النتيجة: خطوات محرك البحث الأربع
-
1
الزحف
يجد الزاحف الصفحة عبر الروابط وخرائط الموقع.
-
2
العرض
تُشغَّل الصفحة كما في المتصفح ليُرى محتوى جافاسكريبت أيضاً.
-
3
الفهرسة
تُحفظ النسخة المفهومة من الصفحة في الفهرس.
-
4
الترتيب
لحظة البحث يُرتَّب الفهرس حسب الصلة والجودة والسياق.
هذه صورة مبسطة؛ خلف كل خطوة عشرات الأنظمة لا يعرف تفاصيلها إلا غوغل نفسه.
آخر مراجعة: تُراجع الحقائق وأسماء الأدوات في هذا الدرس مقابل مصادرها في هذا التاريخ.
كيف يعرف غوغل أن صفحتك موجودة؟
يتنقل زاحف غوغل في الويب عبر الروابط: من صفحة يعرفها إلى صفحة لا يعرفها. خريطة الموقع هي القائمة الرسمية التي تعطيه إياها، والروابط الداخلية هي الطريق من صفحة معروفة إلى صفحة جديدة. والصفحة التي لا يشير إليها رابط وليست في أي خريطة موقع لا وجود لها من وجهة نظر الزاحف.
وهنا يدخل ملف robots.txt، وهنا بالضبط يقع أشهر خطأ في السيو: هذا الملف يتحدث عن الزحف لا عن الفهرسة. إن أغلقت مساراً فيه فلن يقرأ غوغل محتوى الصفحة؛ لكن إن وُجد رابط إلى ذلك العنوان في مكان آخر، فقد يظهر العنوان نفسه في النتائج بلا وصف. ولإبقاء صفحة خارج النتائج تحتاج إلى وسم noindex، وهذا الوسم لا يُقرأ إلا إذا كان الزحف إلى الصفحة مسموحاً.
وأمر يُقال أقل: غوغل ليس لديه زاحف واحد. وثائقه نفسها تسرد قائمة طويلة من الزواحف والجالبات المنفصلة، لكل منها عمل مختلف، من زاحف البحث الرئيسي إلى جالبات تعمل في اللحظة بناءً على طلب المستخدم.
لماذا يضطر غوغل إلى تشغيل الصفحة كالمتصفح؟
الزحف يعني جلب ملف. أما فهم الصفحة فهو العمل التالي، ولذلك يعرضها غوغل: تقريباً ما يفعله متصفحك، حتى يرى أيضاً المحتوى الذي تبنيه جافاسكريبت.
والنقطة العملية أن العرض يكلّف موارد ولا يحدث دائماً فور الزحف. الموقع الذي لا يظهر نصه الأساسي إلا بعد تشغيل جافاسكريبت أكثر عرضة لأن يُفهم متأخراً من موقع يرسل النص نفسه في HTML الأولي. وهذا هو السبب التقني خلف النصيحة البسيطة التي سمعها الجميع: ضع النص المهم داخل الصفحة نفسها.
اختبار بسيط ومجاني: انظر إلى مصدر الصفحة لا إلى ما يعرضه المتصفح. وكل ما ليس هناك فهو بالنسبة إلى غوغل خطوة متأخرة وأكثر هشاشة.
بعد قراءتها، أين تُحفظ الصفحة؟
تدخل النسخة المفهومة من الصفحة إلى الفهرس: أرشيف ضخم يعرف لكل عبارة أي الصفحات تحدثت عنها. والفهرسة ليست ترتيباً، بل تعني فقط أن الصفحة صارت مؤهلة للعرض.
وهنا يتخذ غوغل قراراً آخر يغفل عنه كثيرون: من بين الصفحات المتشابهة يختار واحدة نسخةً أساسية. ووسم canonical عندك تلميح في هذا القرار لا أمر، ووثائق غوغل نفسها تقول صراحة إنه قد يختار نسخة أخرى. ولهذا ترى في Search Console حالات مثل Alternate page with proper canonical tag: الصفحة بلا خطأ وغير مفهرسة في الوقت نفسه.
ووسم noindex يكتسب معناه في المرحلة ذاتها. فهو يعمل بعد قراءة الصفحة لا قبلها، وهذه الجملة وحدها تفصل بين إغلاق مسار وإخفاء صفحة.
من الاكتشاف إلى الظهور
-
1
مكتشفة
وصل العنوان إلى غوغل عبر رابط أو خريطة موقع.
-
2
مزحوفة
جُلب ملف الصفحة فعلاً ولم يمنعه robots.txt.
-
3
مفهرسة
استقرت النسخة المفهومة في الفهرس ولم يخرجها noindex ولا canonical.
-
4
رُئيت ذات صلة
لبحث محدد، يعتبر غوغل هذه الصفحة إجابة قابلة للعرض.
ضيق الأشرطة يُظهر ترتيب المراحل فقط ولا يحمل أي رقم. كل خطوة تحتاج ما قبلها ولا تضمن أي منها ما بعدها.
ماذا يحدث فعلاً لحظة البحث؟
حين يبحث أحدهم، يسحب غوغل الصفحات ذات الصلة من فهرسه ويرتبها. وغوغل نفسه يذكر الإطار في وثائق How Search works: صلة المحتوى بذلك البحث، والجودة والموثوقية، وسهولة الاستخدام، وسياق الباحث أي اللغة والموقع والجهاز. أما تفاصيل الأنظمة فسرية، ولا أحد خارج غوغل يعرف الوزن الدقيق لهذه العوامل؛ ومن يدّعي المعرفة فهو يخمّن.
حقيقة تربك المبتدئين: الترتيب ليس رقماً ثابتاً. الصفحة نفسها قد تقف في موضعين مختلفين لشخصين في مدينتين أو على جهازين، لأن سياق البحث جزء من الحساب. ولهذا فسؤال «كم ترتيبي» ليس سؤالاً مكتملاً ما لم تقل أين وبأي جهاز.
وإن أردت الصورة نفسها من زاوية العمل التجاري، فمقال ما هو السيو فعلاً في مدونة هذا الموقع يروي السلسلة ذاتها بأمثلة تجارية.
أين تنقطع هذه السلسلة عادة
عملياً، الصفحة التي لا يراها أحد عالقة عند إحدى حلقات أربع، وترتيب الفحص هو ترتيب السلسلة نفسها. الأولى: هل يصل إلى هذه الصفحة رابط أو خريطة موقع أصلاً؟ الثانية: هل يمنع robots.txt الزحف؟ الثالثة: هل يبقيها وسم noindex أو canonical خاطئ خارج الفهرس؟ الرابعة: هل الصفحة مفهرسة لكنها لا تُرى ذات صلة بالعبارة التي تقصدها؟
الحالة الرابعة أكثر شيوعاً من الثلاث الأولى وأكثر إحباطاً، لأنك لا ترى أي خطأ في أي تقرير. الصفحة سليمة؛ لكن غوغل يعرف إجابة أفضل لذلك البحث. وهنا ينتقل العمل من التشخيص التقني إلى فهم نية البحث وشكل صفحة النتائج، ولهذا بالضبط كُتب الدرس التالي في هذا المسار: تشريح صفحة نتائج غوغل.
ما الذي يبقي الصفحة قابلة للوصول وما الذي يوقفها بصمت
يبقيها قابلة للوصول
- رابط داخلي من صفحة يُزحف إليها هي نفسها
- وجود العنوان في خريطة الموقع
- النص الأساسي داخل HTML الأولي
- وسم canonical يشير إلى الصفحة نفسها
يوقفها بصمت
- مسار مغلق في robots.txt
- وسم noindex بقي من مرحلة بناء الموقع
- وسم canonical يشير إلى صفحة أخرى
- صفحة لا يُبنى نصها إلا بجافاسكريبت
لا شيء في العمود المقابل يُنتج خطأ في Search Console، ولهذا تُكتشف متأخرة.
الذكاء الاصطناعي في هذا العمل
تأخذ زواحف الذكاء الاصطناعي الخطوة الأولى تماماً كما يفعل غوغل: تجلب الصفحة. الفرق في الخطوات التالية. غوغل يحفظ الصفحة في فهرس يعرض عنوانك للمستخدم؛ أما زاحف النموذج فيأخذ النص للتدريب أو للإجابة في اللحظة نفسها، وقد يعطي الإجابة دون أن يدخل أحد موقعك. وقرار فتح موقعك لهذه الزواحف أو إغلاقه صار اليوم جزءاً من السيو لا نقاشاً هامشياً.
أدوات تساعد فعلا
- Google Search Console المكان الوحيد الذي يملك بيانات الزحف والفهرسة الحقيقية لموقعك. ليس ذكاءً اصطناعياً، لكن كل تحليل يجعل هذا الدرس عملياً يبدأ من تلك البيانات.
- Claude مفيد لفهم رسالة في Search Console أو وسم غير مألوف. وإيران ليست في قائمة الدول المدعومة لدى أنثروبيك ولا يوجد مسار دفع رسمي منها؛ وصفحته تقول ذلك بمصدرها.
- Gemini الاستخدام نفسه في شرح المفاهيم. وصفحة غوغل نفسها تقول إن تطبيق Gemini على الويب يعمل في أكثر من 230 دولة وإقليماً، وإيران ليست في تلك القائمة.
- RGB طبقة الوصول والدفع لإيران، منفصلة عن الأدوات نفسها: ما الذي يُفتح فعلاً وكيف يُدفع ثمنه.
اين ينقلب ضدك
سيؤلف النموذج اللغوي بثقة قصة عن «لماذا لم تُفهرَس صفحتي»: فهو لا يرى تقريرك، ولا أحد خارج غوغل يعرف تلك الأنظمة بالتفصيل. اقرأ تقرير Search Console أولاً، ثم اطلب من النموذج شرح المفاهيم لا التشخيص. والوجه الآخر خيار حقيقي: إغلاق زواحف الذكاء الاصطناعي يبقي محتواك خارج بيانات النماذج، لكنه يبقيك أيضاً خارج الاستشهادات في محركات الإجابة. عليك أن تختار، ولكلا الخيارين ثمن.
المصادر: Google: Overview of Google crawlers and fetchers Anthropic: does Anthropic crawl the web, and how can site owners block the crawler llms.txt proposal
حدود هذه النصيحة
هذا الدرس صورة عامة لا أداة تشخيص. إذا كانت صفحة محددة من موقعك لا تُفهرَس، فالجواب في تقارير Search Console لذلك الموقع نفسه، ولا يغني عنها أي شرح عام، بما فيه هذه الصفحة.
من عملنا نحن
في هذا الموقع نفسه نسمح في robots.txt لستة عشر زاحف ذكاء اصطناعي بالاسم، ويُعاد بناء ملف llms.txt مع كل نشر؛ والقائمة الكاملة في wp-content/themes/rgb/inc/indexing.php ويمكن رؤية مخرجاتها على rgb.ir/robots.txt. هذا اختيار لا وضع افتراضي، ونعرف ثمنه: محتوانا يدخل بيانات النماذج. وقد قبلنا ذلك لأن الاستشهاد بنا في محركات الإجابة يساوي أكثر بالنسبة إلى وكالة.
اسئلة متابعة حقيقية
صفحتي مفهرسة لكن بلا زيارات. ماذا يعني ذلك؟
يعني أن السلسلة صمدت حتى الحلقة الثالثة وتوقفت عند الرابعة: غوغل يملك الصفحة لكنه يعرف إجابة أفضل لذلك البحث. وهذا ليس خطأً تقنياً ولا يظهر كخطأ في أي تقرير؛ ومن هنا ينتقل العمل إلى نية البحث وجودة الإجابة.
ما الفرق بين robots.txt ووسم noindex؟
يتحكم robots.txt في الزحف، ويتحكم noindex في الظهور بالنتائج. وإن أغلقت مساراً في robots.txt فلن يقرأ غوغل وسم noindex داخل تلك الصفحة أصلاً، لأنه لا يجلب الصفحة. ولإبقاء صفحة خارج النتائج يجب أن يبقى الزحف مسموحاً حتى يُقرأ noindex.