السيو لمحركات الذكاء الاصطناعي (GEO)
GEO هو العمل على أن تشير أجوبة مساعدي الذكاء الاصطناعي إلى موقعك، وشيء واحد منه اليوم قابل للقياس: هل تصل زواحف تلك الخدمات إلى صفحاتك، وهو ما يُرى في سجل خادمك أنت. وما بقي إما توثيق رسمي من تلك الشركات وإما استنباط، ومن يعطيك قائمة «عوامل ترتيب GEO» فإنما يبيعك تخميناً.
- الدرس 15 من 15
- متقدم
- مجاني، دون تسجيل
من أين يأتي الاقتباس في جواب المساعد
ثلاثة مدخلات تصل إلى النواة، ومدخل لا يُوصَل عمداً، لأن غوغل نفسها كتبت أن البحث لا يستعمله.
-
1وصول الزاحف
الشيء الوحيد الذي تقيسه بنفسك: في سجل الخادم، باسم الروبوت ورمز الاستجابة.
-
2جواب قابل للاقتباس في الجملتين الأوليين
استنباط لا قانون. وهو صحيح استقلالاً للقارئ البشري أيضاً.
-
3ادعاء بمصدر ومصطلح ثابت
استنباط. إن أراد النموذج التحقق فليكن الطريق أمامه.
-
ملف خاص للذكاء الاصطناعي
كتبت غوغل أن البحث لا يستعمل هذه الملفات وأنها لا تضر ولا تنفع. وهذا السلك لا يبلغ النواة.
-
الجواب الذي يبنيه المساعد
لم تنشر أي من هذه الشركات معايير اختيارها للمصدر. وعبء الإثبات على من يدّعي خلاف ذلك.
-
إشارة إلى صفحتك
والإشارة ليست بالضرورة نقرة. ولا أداة تعطيك عدّها كذلك.
المدخل الأول وحده قابل للقياس. والتاليان استنباط، وهذا الرسم لا يجعلهما قانوناً.
آخر مراجعة: تُراجع الحقائق وأسماء الأدوات في هذا الدرس مقابل مصادرها في هذا التاريخ.
ما GEO وأي جزء منه مُثبَت فعلاً؟
GEO اختصار generative engine optimization، وهو اسم العمل الذي يستهدف الظهور داخل الأجوبة المولَّدة لمحركات البحث والمساعدين. وAEO الشيء نفسه باسم آخر.
ولغوغل موقف رسمي من الكلمتين، وقراءته أولاً توفّر وقتك: ففي دليلها للتحسين لقدرات الذكاء الاصطناعي التوليدي تكتب أن التحسين لبحث الذكاء الاصطناعي، من منظور بحث غوغل، هو تحسين لتجربة البحث ومن ثم فهو سيو، وتضيف أنك إن كنت تفكر في نصائح أو خدمات AEO أو GEO من طرف ثالث فراجع دليلها في تقييم استشارات السيو الخارجية. وقد فصّلنا هذا الموقف في مقال غوغل قالت لا تصنعوا ملفاً خاصاً للذكاء الاصطناعي ولن نكرره هنا.
لكن غوغل ليست محرك العالم الوحيد، وهذا الدرس عن الجزء الذي لا يغطيه ذلك المقال بالضبط. فـChatGPT وClaude وPerplexity لكل منها زواحفها وسياساتها، وكل منها ينشر توثيقه. وهناك أمور موثَّقة وقاطعة لا يكاد أحد في السوق الإيرانية يتحدث عنها.
فقبل أي نصيحة، لنضع الادعاءات في أربعة سِلال ونُبقِها إلى آخر الدرس: ما تقيسه بنفسك، وما وثّقته الشركة الصانعة، وما هو استنباط معقول، وما هو تخمين محض يُباع في حزمة. وكل جملة في هذا الدرس تقع في واحدة من الأربع، ونقول في كل مرة أيها.
السِلال الأربع التي يقع فيها كل ادعاء GEO
قبل قبول أي توصية اسأل في أي سلة هي. فالثلاث الأولى صالحة للاستعمال، والرابعة صُنعت للبيع.
-
مقيس
يُرى في سجل خادمك: أي روبوت جاء وماذا جلب وأي رمز نال.
-
موثَّق من الصانع
مكتوب على الصفحة الرسمية للشركة ويمكن ربطه.
-
استنباط معقول
له حجة ولا وثيقة له. افعله ولا تبعه بوصفه قانوناً.
-
تخمين يُباع
قوائم عوامل ترتيب GEO وضمان المكان في الأجوبة. لا مرجع لها.
الحد بين السلة الثانية والثالثة هو موضع أكثر الخطأ: توصية صحيحة تُباع بوصفها قاعدة من غوغل.
أي الزواحف تأتي إلى موقعك وماذا يفعل كل منها؟
هذا القسم هو الجزء الموثَّق من الدرس وأنفعها، لأنه الرافعة الوحيدة التي في يدك فعلاً ونتيجتها ثنائية: إما مسموح لهم بالدخول وإما لا.
والخطأ الشائع أن تظن أن لكل شركة زاحفاً واحداً. ليس كذلك. فأوبن إيه آي تكتب في توثيقها أن OAI-SearchBot وGPTBot إعدادان مستقلان: أحدهما للظهور في البحث والآخر لتدريب النموذج. والموقع الذي يحجب GPTBot ويترك OAI-SearchBot مفتوحاً يخرج من التدريب ويبقى في البحث. وتكتب الصفحة نفسها أن المواقع التي انسحبت من OAI-SearchBot لا تُعرَض في أجوبة بحث ChatGPT، وإن كانت قد تظهر روابطَ تنقّل، وأن الأمر يستغرق نحو أربع وعشرين ساعة من تغيير robots.txt حتى تتكيّف أنظمتهم.
ولأنثروبيك ثلاثة روبوتات منفصلة تشرحها كلها في صفحة الدعم لديها: ClaudeBot لجمع محتوى الويب الذي قد يسهم في تدريب النماذج، وClaude-User حين يسأل فرد سؤالاً فيذهب النظام إلى موقعك، وClaude-SearchBot الذي يعمل على جودة نتائج البحث. وتكتب تلك الصفحة أن تعطيل Claude-User يمنع نظامهم من جلب محتواك رداً على سؤال مستخدم، وقد يقلّل ظهور موقعك.
ثم حالة غوغل، وهي أكثرها سوء فهم. فـGoogle-Extended ليس له رمز وكيل مستخدم منفصل أصلاً؛ وتوثيق غوغل نفسه يقول إن الزحف يتم برموز وكلاء غوغل الموجودة وإن هذا الرمز يعمل في robots.txt للتحكم فقط. ومهما فتّشت في سجلك فلن تجد طلباً باسم Google-Extended. وما يتحكم فيه هذا الرمز هو استعمال محتواك لتدريب أجيال Gemini المقبلة وللتأريض في تلك المنتجات نفسها، وتقول الصفحة ذاتها صراحةً إن Google-Extended لا يؤثر في إدراج الموقع في بحث غوغل وليس إشارة ترتيب.
| الرمز في robots.txt | ما يتحكم فيه | ما يكلّفه حجبه |
|---|---|---|
| GPTBot | استعمال محتواك لتدريب نماذج أوبن إيه آي الأساسية | يبقى محتواك خارج التدريب |
| OAI-SearchBot | الظهور في أجوبة بحث ChatGPT | لا تُعرَض في أجوبة البحث، وإن بقيت رابطَ تنقّل |
| ClaudeBot | جمع المحتوى لتدريب نماذج أنثروبيك | تُستبعَد موادك المقبلة من مجموعات التدريب |
| Claude-SearchBot وClaude-User | فهرسة البحث وجلب صفحة رداً على سؤال مستخدم | يقلّ ظهورك ودقتك في النتائج وفي الأجوبة |
| Google-Extended | تدريب نماذج Gemini والتأريض فيها | لا أثر إطلاقاً على الحضور أو الترتيب في بحث غوغل |
اقرأ الجدول مرة من اليمين إلى اليسار وانظر كم يصير القرار بسيطاً. فإن أردت الظهور في أجوبة ChatGPT مع إبقاء محتواك خارج التدريب، عرفت بالضبط أي سطرين تكتب. وتوثيق الشركات الثلاث في قائمة مصادر هذا الدرس.
ماذا يقتبس المساعد عادةً من صفحة؟
هنا ندخل السلة الثالثة: الاستنباط. ولنقلها صراحةً: لم تنشر أي من هذه الشركات قائمة معايير لاختيار المصدر، فكل ما في هذا القسم استدلال لا وثيقة.
والاستدلال بسيط. فالمساعد حين يبني جواباً يحتاج جملة يستطيع اقتباسها بلا تقطيع وبلا شرح زائد. والصفحة التي تجيب عن السؤال في جملتيها الأوليين تملك تلك الجملة. والصفحة التي تجيب في الفقرة السادسة بعد تمهيد لا تملكها. وهذا الفارق وحده، في تجربتنا، أكثر ما يؤثر في الاقتباس، وكلفته صفر لأنه أفضل للقارئ البشري أيضاً.
وثلاثة أمور أخرى تنفع للسبب نفسه: استعمل مصطلحاً واحداً على امتداد الصفحة ولا تلعب بالمترادفات؛ واربط كل ادعاء يحتاج سنداً بمصدره ليكون الطريق أمام النموذج إن أراد التحقق؛ ورتّب الصفحة بعناوين صحيحة ليمكن انتزاع الجزء المعني وحده.
والآن النقطة التي يتركها الأكثرون، ونقولها لأنها سياسة هذا الموقع نفسه. تكتب غوغل في الدليل ذاته أنك لست بحاجة إلى الكتابة بطريقة خاصة لتظهر في قدرات الذكاء الاصطناعي، ولا إلى تقطيع المحتوى إلى قطع صغيرة، ولا إلى سكيما خاصة. فلا تبع التوصيات الأربع أعلاه بوصفها قواعد غوغل. إنها استنباط عن كيفية بناء نموذج لغوي اقتباساً من صفحة، وهي صحيحة استقلالاً للقارئ البشري. وهذان سببان كافيان لفعلها، ولا ثالث لهما.
ونحن نطبّق القاعدة نفسها على قسم التعلم هذا: كل درس ملزَم بأن يجيب في جملتيه الأوليين، وأن تفهم الجملتان وحدهما دون بقية الصفحة. والسبب الأول قارئ مستعجل؛ أما أن يستطيع مساعد انتزاع الجملتين فأثر جانبي لا غاية.
أنصنع llms.txt أم لا؟
الجواب القصير: اصنعه إن لم يكلّفك شيئاً، لكن لا تدفع لأحد مقابله، ولا تنتظر منه أثراً في ترتيبك لدى غوغل.
الوثيقة من جهة غوغل صريحة. ففي دليل الذكاء الاصطناعي التوليدي نفسه، في قسم سمّته تفنيد الأساطير، تكتب أنك لست بحاجة إلى إنشاء ملفات قابلة للقراءة الآلية أو ملفات نصية للذكاء الاصطناعي أو ماركب أو ماركداون لتظهر في بحث غوغل بما فيه قدراته التوليدية، لأن بحث غوغل نفسه لا يستعملها. وتضيف فوراً أنه لا بأس إطلاقاً إن قررت إنشاء تلك الملفات وصيانتها، لكن ذلك لن يضرّ ظهورك وترتيبك في غوغل ولن ينفعه، لأن بحث غوغل يتجاهلها.
والوجه الآخر من القصة حقيقي أيضاً ويُترك عادةً. فـllms.txt اقتراح نشره جيرمي هاورد في سبتمبر ٢٠٢٤، وهو الآن في نسخته الثانية على llmstxt.org. وتقول الصفحة نفسها إن آلاف المواقع تنشر هذا الملف، وإن منصات التوثيق تولّده تلقائياً، وإن لايت هاوس في كروم يفحص وجوده ضمن اختبارات التصفح الوكيلي، وإن مختبرات الذكاء الاصطناعي نفسها تنشر llms.txt لتوثيق مطوّريها.
فأمسك الجملتين الصحيحتين معاً: غوغل تتجاهله، وهو في الوقت نفسه عُرف حيّ تقرؤه أدوات أخرى. ونحن نحتفظ بواحد على هذا الموقع ولن نزيله، لأن كلفته ملف نصي يُعاد توليده تلقائياً. ولا نبيعه لأحد، لأن ليس لدينا أثر مقيس نبيعه.
وإن كان أحد يتقاضى منك مبلغاً منفصلاً لصنع هذا الملف ويعدك بنتيجة في غوغل، فتوثيق غوغل نفسه قد أجابه.
كيف تعرف أصلاً هل تُرى؟
لديك موضع قياس حقيقي واحد وموضع نصف قياس، وما بقي لا يُقاس. ولنقل بصدق أيها أي.
القياس الحقيقي سجل خادمك أنت. فكل طلب يأتي من هذه الزواحف إلى موقعك ينزل هناك باسم ووقت ورمز استجابة. وهناك ترى أيها جاء، وأي الصفحات جلب، والأهم أي رمز نال: فصفحة تعيد مئتين لمتصفحك قد تعيد ٤٠٣ لروبوت، وخادمك أو جدارك الناري أو شبكة التوزيع ترتّب ذلك دون أن تخبرك. والطريق السريع أسفل هذه الصفحة هو هذا الفحص بعينه.
ونصف القياس هو سيرش كونسول. فغوغل تشير في الدليل نفسه إلى تقرير أداء الذكاء الاصطناعي التوليدي في سيرش كونسول؛ وماذا يُظهر ذلك التقرير وماذا لا يُظهر شرحناه على حدة في مقال تقرير الذكاء الاصطناعي في سيرش كونسول.
وأما ما لا يستطيع أحد قياسه: هل اقتُبس موقعك داخل محادثة خاصة بين مستخدم ومساعد. تلك المحادثة ليست في متناول أي أداة. ولهذا تحذّر غوغل نفسها، في قسم تفنيد الأساطير، من أدوات الطرف الثالث التي تعد بنجاح في الترتيب أو تدّعي استعمال مقاييس غوغل الداخلية، وتكتب صراحةً أن لا أداة طرف ثالث لها وصول إلى أنظمة الترتيب والذكاء الاصطناعي الداخلية لديها.
وثمة طريقة يدوية يسميها بعضهم رصد GEO: اسأل المساعدين أنفسهم عن موضوعك وانظر إلى أي المواقع يشيرون. وهي مفيدة لكنها ليست قياساً؛ فالجواب يتغير في كل مرة، ويتوقف على تاريخ حسابك، وحجم العينة واحد. احتفظ بها ملاحظة نوعية ولا تقرر أبداً على رسم بياني بنيته منها.
ورقة فحص وصول زواحف الذكاء الاصطناعي
كل سطر هنا يمكن فحصه على موقعك في دقائق، ولا واحد منها يحتاج أداة مدفوعة.
يجب أن يصحّ
- يحمل robots.txt رموز الزواحف بقرارك لا بالافتراض
- يعيد الخادم رمز ٢٠٠ لتلك الوكلاء لا ٤٠٣
- تظهر أسماء هذه الروبوتات فعلاً في سجل الأيام الأخيرة
- تعرض الصفحة المهمة نصها من دون جافاسكربت أيضاً
عطل صامت
- يحجب الجدار الناري أو شبكة التوزيع الروبوت المجهول ولا يخبرك
- الصفحة خلف تسجيل دخول أو خلف كابتشا
- انتظار رؤية Google-Extended في السجل، وهو لا يأتي أبداً
- شراء حزمة GEO تعد بمكان في الأجوبة
اجتياز هذه الورقة يعني أن الباب مفتوح. أما أن يدخل منه أحد فغير مضمون ولا يمكن ضمانه.
إذن ما الذي يستحق العمل فعلاً اليوم؟
بالترتيب الذي تستحقه، لا بالترتيب الذي تُباع به في حزم GEO.
أولاً، تأكد أن صفحاتك قابلة للزحف والفهرسة أصلاً. فالصفحة التي ليست في الفهرس ليست في أي جواب ذكاء اصطناعي كذلك. وإن كان هذا الجزء أعرج فاذهب إلى السيو التقني ودع بقية هذا الدرس جانباً الآن.
وثانياً، وهو أشيع عطل صامت نلقاه عملياً: تأكد أن جدارك الناري أو شبكة التوزيع لا تحجب هذه الروبوتات. فكثير من خدمات الأمن تشدّد افتراضياً على الروبوتات المجهولة، والنتيجة موقع robots.txt فيه مفتوح تماماً وهو عملياً يعيد ٤٠٣ لـOAI-SearchBot. ولا أحد يخبرك؛ أنت فقط لا تُقتبَس أبداً.
وثالثاً، اضبط الرموز عن قصد لا مصادفةً. انظر جدول القسم الثاني وقرّر أيها تريد وأيها لا. فإن لم تقرّر، قرّر عنك إعداد الخادم الافتراضي وإضافة الأمن لديك.
ورابعاً، أجب في الجملتين الأوليين وثبّت مصطلحاً واحداً. وهذا استنباط لا قانون، لكنه صحيح للقارئ أيضاً، فلا يكلّفك شيئاً.
وأما ما لا يستحق العمل: شراء حزمة باسم GEO تعد بمكان في أجوبة الذكاء الاصطناعي. فلا أحد خارج هذه الشركات يملك وصولاً إلى أنظمتها، ولا أحد يضمن موضعاً لا يراه. وإن أردت أن نؤدي الأمور الأربعة أعلاه على موقع حقيقي فهذا هو سيو الموقع عندنا؛ أما إن كان لديك فريق تقني فالأربعة كلها لك، ونحن نفضّل ذلك.
ونتنبأ بشيء قد يخرج خاطئاً ونفضّل أن تتذكر أننا قلناه: ما دامت هذه الشركات لا تنشر تقريراً عن اقتباساتها، فكل ما يُباع باسم قياس GEO إعادة بناء لتخمين في ثوب رسم بياني. وإن ظهر مثل هذا التقرير يوماً، أعدنا كتابة هذا الدرس في يومه وتغيّر تاريخ الفحص أعلى الصفحة.
المسار السريع مع الذكاء الاصطناعي
الطريق السريع هنا ليس أن تسأل نموذجاً كيف تُرى في أجوبة الذكاء الاصطناعي؛ فذلك السؤال يأتيك بجواب مصنوع. بل أن تجمع في دقائق ثلاثة أمور حقيقية: robots.txt عندك كما تراه هذه الروبوتات، والجواب الذي يعطيه خادمك للوكلاء أنفسهم، ومن جاء فعلاً في سجل الأيام الأخيرة. ثم تسلّم المخرج الخام إلى نموذج ليبني قائمة إجراءات كل بند فيها مثبّت إلى سطر من ذلك المخرج. ويكفي نموذج رخيص سريع؛ واختيارنا الحالي في <a class="text-link" href="/ar/ai/">قسم الذكاء الاصطناعي</a>.
- شغّل الأمر الأول على نطاقك. وله ثلاثة أقسام: رموز الزواحف في robots.txt، ورمز استجابة الخادم لأربعة وكلاء حقيقيين، وعدّ أسماء الروبوتات في السجل. وانسخ الأقسام الثلاثة كاملة.
- إن لم يكن لك وصول إلى مسار السجل فتجاوز القسم الثالث واكتب ذلك مهمةً بذاته: فبلا سجل ليس لديك القياس الحقيقي الوحيد في هذا الموضوع، وعليك طلبه من مستضيفك.
- سلّم المخرج إلى النموذج حرفياً مع أمر المرحلة الثانية. ولا تلخّص شيئاً؛ فالمقصود كله أن يعمل النموذج على النص الحقيقي لا على روايتك عنه.
- احذف كل بند كتبه النموذج ولا تجد سطر دليله في المخرج. وخصوصاً كل بند يتحدث عن «عامل ترتيب»: فلا وجود لذلك في المخرج لأنه لا وجود له أصلاً.
وصفة جاهزة للنسخ
== المرحلة ١: ثلاثة فحوص على خادمك
D="example.com"; LOG="/var/log/nginx/access.log"
BOTS='gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|claude-user|perplexitybot|google-extended|applebot|amazonbot|ccbot|meta-externalagent'
echo "== ١. رموز الزواحف في robots.txt"
curl -s "https://$D/robots.txt" | grep -iE "$BOTS" || echo "لا رموز: الافتراض هو الحاكم"
echo "== ٢. أي رمز يعطيه الخادم لهذه الروبوتات"
for UA in "GPTBot/1.2" "OAI-SearchBot/1.4" "ClaudeBot/1.0" "PerplexityBot/1.0"; do
printf '%-20s ' "$UA"
curl -s -o /dev/null -w '%{http_code}\n' -A "Mozilla/5.0 (compatible; $UA)" "https://$D/"
done
echo "== ٣. من جاء فعلاً (السجل)"
grep -oiE "$BOTS" "$LOG" | sort | uniq -c | sort -rn
== المرحلة ٢: تحويل المخرج إلى قائمة إجراءات (نموذج رخيص سريع)
المخرج أدناه من ثلاثة فحوص لموقع واحد: رموز robots.txt، ورمز استجابة الخادم
لعدة وكلاء، وعدّ الروبوتات في السجل. ابنِ قائمة إجراءات بهذه القواعد:
١. كل بند يحمل سطر دليل من هذا المخرج، منقولاً حرفياً
٢. لا تكتب أي بند بلا سطر دليل
٣. قدّم التناقضات: روبوت مسموح في robots.txt ولم ينل ٢٠٠، أو روبوت مسموح
ولا يظهر في السجل أصلاً
٤. لا تكتب شيئاً عن الترتيب ولا عن التأثير في أجوبة الذكاء الاصطناعي
---
{مخرج المرحلة ١}
قبل أن تثق بالناتج: احتفظ بثلاثة أمور لنفسك. أولاً، رمز ٢٠٠ في المرحلة الثانية يقول إن الباب مفتوح فقط؛ ولا يقول إن أحداً دخل منه. ذلك يقوله القسم الثالث وحده. وثانياً، رمز الوكيل يستطيع أي أحد تزويره، فعدّ السجل حدّ أعلى لا رقم دقيق؛ وإن تعلّق به قرار مهم فقِس الطلبات بقائمة عناوين IP المنشورة لتلك الشركة. وثالثاً، سيحاول النموذج في المرحلة الثانية على الأرجح أن يكتب شيئاً عن أثر هذه الإعدادات في الترتيب؛ احذف ذلك البند، فلا سطر دليل له في المخرج ولا مرجع له خارجه.
الذكاء الاصطناعي في هذا العمل
موقفنا هنا قصير: استعمل النماذج لقراءة المخرجات ولترى ماذا تقول عن موضوعك، ولا تسألها أبداً كيف ترتقي في أجوبتها. فجواب ذلك السؤال يأتي دائماً ويكون مصنوعاً دائماً، لأن النموذج لا وصول له إلى نظام اختيار المصادر لديه.
أدوات تساعد فعلا
- Claude يناسب المرحلة الثانية من الطريق السريع، لأنه أقل إعادة صياغة حين تطلب اقتباساً حرفياً من المخرج. وإيران ليست في أي من قائمتي الدول المدعومة لدى أنثروبيك.
- Gemini لترى إلى أي المصادر يشير مساعد في موضوعك. والجواب يختلف في كل مرة، فعُدّه ملاحظة لا قياساً. وصفحتنا تذكر أن إيران ليست في قائمة الدول المدعومة لدى غوغل؛ وطريق الدفع في <a class="text-link" href="/ar/ai/buy/">شراء الذكاء الاصطناعي</a>.
- ChatGPT أهم ما تحتاجه من هذه الخدمة ليس النموذج بل صفحة توثيق زواحفها التي تشرح الفرق بين OAI-SearchBot وGPTBot. ولا صفحة لهذه الخدمة في قسم الذكاء الاصطناعي عندنا بعد، ولم نفحص الوصول من إيران كذلك.
اين ينقلب ضدك
الخطر الرئيس في هذا الموضوع ادعاءات مصنوعة عن الموضوع نفسه. اسأل أي نموذج ما عوامل الترتيب في أجوبة الذكاء الاصطناعي فتحصل على قائمة مرتبة مقنعة بلا مرجع خلفها؛ فالسؤال يشبه أسئلة لها أجوبة، فيخرج الجواب شبيهاً بالجواب. وتحذّر غوغل نفسها في قسم تفنيد الأساطير من أدوات الطرف الثالث التي تدّعي الوصول إلى مقاييس داخلية، وتكتب أن لا أداة طرف ثالث لها وصول إلى أنظمة الترتيب والذكاء الاصطناعي الداخلية لديها. والخطر الثاني أصغر لكنه حقيقي: حين تسأل مساعداً عما يعرفه عن علامتك، يتوقف الجواب على تاريخ حسابك وعلى تلك الجلسة، فلا تُبلغ نتيجة سؤال واحد بوصفها الحالة العامة لعلامتك.
المصادر: Google Search Central: optimizing for generative AI features, mythbusting section OpenAI: overview of OpenAI crawlers Anthropic: does Anthropic crawl data from the web, and how can site owners block the crawler
حدود هذه النصيحة
كل ما قاله هذا الدرس عن «ما الذي يُقتبَس» استنباط لا وثيقة، لأن ولا واحدة من هذه الشركات نشرت معايير اختيارها للمصدر. والجزء القاطع الوحيد هو طبقة وصول الزواحف، وهي أيضاً عن فتح الباب لا عن النتيجة: ففتحه لا يضمن أن يدخل أحد. وهذا المجال يتغير بسرعة؛ فقد تختلف الرموز والسياسات بعد أشهر، وتاريخ الفحص أعلى الصفحة موجود لهذا بالضبط. وإن كان موقعك لا يُفهرَس فلا شيء من هذا يعنيك بعد.
من عملنا نحن
الأرقام أدناه من سجل هذا الخادم نفسه يوم كتابة هذا الدرس، في المدى من ٠٠:١٧ إلى ٠٨:٥٣ من ٥ سبتمبر ٢٠٢٦ بتوقيت طهران، على ٦٨٨٩٦ سطر سجل. وrobots.txt هذا الموقع يسمح لستة عشر زاحفاً للذكاء الاصطناعي بالاسم، وفي ذلك المدى جاء هؤلاء: Applebot بـ٣٤٦ طلباً، وAmazonbot بـ٢٣٩، وOAI-SearchBot بـ٩٣، وmeta-externalagent بـ٨٤، وChatGPT-User بـ٤٦، وPerplexityBot بـ٨، وClaudeBot بـ٤. وللمقارنة، بلغ Googlebot ١٣٣ طلباً في المدى نفسه وbingbot ٤٩. وفي هذا الجدول أمران ينفعانك. الأول أن GPTBot صفر وOAI-SearchBot ٩٣: وهما الرمزان المستقلان من القسم الثاني، عملياً وعلى موقع حقيقي. والثاني أن Google-Extended صفر أيضاً، وليس ذلك عطلاً؛ فتوثيق غوغل يقول إن هذا الرمز بلا رمز وكيل مستخدم منفصل، فلا يظهر في أي سجل أبداً. ونقول كذلك ما لا نستطيع أن نريك إياه: اقتباساً واحداً مقيساً. لا أداة تعطينا ذلك، ومن يدّعي أنه يملكه فعليه أولاً أن يشرح من أين.
اسئلة متابعة حقيقية
هل يختلف GEO عن السيو؟
من منظور غوغل لا: فدليلها الرسمي يقول إن التحسين لبحث الذكاء الاصطناعي تحسين لتجربة البحث ومن ثم فهو سيو. أما الجديد فعلاً فطبقة الزواحف: فلخدمات غير غوغل رموز منفصلة ويمكن ضبطها على حدة.
إن حجبت GPTBot، هل أختفي من ChatGPT؟
لا، فهما إعدادان مستقلان. تكتب أوبن إيه آي أن GPTBot لتدريب النموذج وOAI-SearchBot للظهور في البحث، وأن المواقع المنسحبة من OAI-SearchBot لا تُعرَض في أجوبة بحث ChatGPT. فإن أردت أن تكون في البحث لا في التدريب فاحجب GPTBot وحده.
لماذا لا يظهر Google-Extended في سجلي أبداً؟
لأنه بلا رمز وكيل مستخدم منفصل. يقول توثيق غوغل إن الزحف يتم بالرموز الموجودة وإن هذا الرمز للتحكم في robots.txt فقط. وغيابه عن السجل ليس عطلاً ولا علاقة له بترتيبك في البحث.