ما هي هلوسة الذكاء الاصطناعي

الهلوسة أن يقول النموذج شيئا بالنبرة نفسها التي يقول بها الحقيقة، وذلك الشيء غير موجود أصلا. وليس ذلك عطبا في النموذج: فالنموذج يبني أرجح استمرار للنص، ومصدر مزيف يبدو صحيحا هو إحصائيا بنفس رجحان مصدر حقيقي.

  • الدرس 12 من 15
  • مبتدئ
  • مجاني، دون تسجيل
العمل مع الذكاء الاصطناعي

ما تقرأه وما ليس تحته

فوق الخط جملة يبدو فيها كل شيء صحيحا. وتحته الأشياء التي تدعي تلك الجملة وجودها.

جواب طلق وواثق

النبرة نفسها التي يستعملها للجواب الصحيح. والنبرة لا تحمل معلومة عن الصحة.

سطح ما تقرأه فعلا
  • مصدر لا وجود له

    مؤلف وسنة ومجلة، كلها بالشكل الصحيح. والبحث عن العنوان يجيبك في ثوان.

  • رقم مصقول أكثر مما ينبغي

    مدور ومرتب وبالحجم الذي توقعته بالضبط. والرقم الحقيقي أقبح عادة.

  • قاعدة أو مادة مخترعة

    رقم مادة أو بند سياسة أو اسم إعداد أو اسم دالة. شكلها متوقع فيبنى.

  • مصدر حقيقي لادعاء لم يقله

    ينجو من فحص الروابط. والسبيل الوحيد أن تجد الجملة في الصفحة نفسها.

لا شيء من هذه الأشكال الأربعة نادر، ولا يترك أي منها علامة على الجملة. والسبيل الوحيد لرؤيتها الذهاب إلى المصدر نفسه.

آخر مراجعة: تُراجع الحقائق وأسماء الأدوات في هذا الدرس مقابل مصادرها في هذا التاريخ.

لماذا تضلل كلمة «هلوسة»

الهلوسة هو الاسم الذي أعطي لهذا: أن ينتج النموذج جملة يبدو فيها كل شيء صحيحا ولا يستند فيها شيء إلى شيء. بحث له مؤلف وسنة ومجلة ولم يكتب قط. ومادة قانونية برقم لا وجود له. ورقم لا يرد في أي مصدر.

والمشكلة في الاسم نفسه. فكلمة «هلوسة» توحي بأن شيئا تعطل وأن النموذج خرج عن حاله الطبيعي. والذي يحدث فعلا عكس ذلك. ففي تلك اللحظة يفعل النموذج بالضبط ما يفعله حين يصيب: يبني أرجح استمرار. فحين يكون الجواب صحيحا، يصادف أرجح استمرار أن يوافق الواقع. وحين يكون خاطئا، لا يوافقه. ومن داخل ذلك الحساب لا تتمايز الحالتان أصلا.

وموقفنا أن هذا التمييز عملي لا فلسفي. فإن عددت الهلوسة عيبا انتظرت الإصدار التالي ليصلحه. وإن عددتها سلوكا عاديا للآلية نفسها، رتبت عمليتك بدل الانتظار بحيث يفحص كل ادعاء قابل للفحص. والثاني هو الذي ينجح.

ما هي هلوسة الذكاء الاصطناعي وكيف نمسكها

لماذا ينتج التنبؤ ثقة

يبني النموذج اللغوي النص رمزا رمزا، ويختار في كل خطوة أرجح استمرار. والآلية مشروحة في درس ما هو النموذج اللغوي الكبير. والمهم هنا سطر منه: لا يوجد سلك مدخل اسمه مصدر الحقيقة موصول بهذا الحساب.

فماذا يحدث حين تطلب من النموذج مصدرا. لقد تعلم النموذج شكل الإحالة تعلما ممتازا: اسم عائلة، وسنة بين قوسين، وعنوان يناسب الموضوع، واسم مجلة لها وزن في ذلك الحقل. وكلها أنماط عالية التكرار في النصوص. أما ما لم يتعلمه فهو هل هذه الإحالة بعينها موجودة، لأن تلك الحقيقة لا موضع لها في الحساب.

ثم النبرة الواثقة. فالنموذج محسن من أجل الطلاقة، والطلاقة جملة بلا تحفظ. والنموذج الذي يقول ربما ولست متأكدا طوال الوقت يبدو أسوأ في التقييمات، فدفعت هذه الأدوات نحو الحسم. والنتيجة لك بسيطة وغير سارة: نبرة النموذج لا تحمل أي معلومة عن صحة جوابه. فالجواب الخاطئ والجواب الصحيح يأتيان بالثقة نفسها، وهذا هو ما يجعل الأمر خطرا.

احفظ أشكال الخطأ الكلاسيكية

لا تأخذ الهلوسة أشكالا عشوائية. لها أنماط محددة قليلة، ومتى عرفتها أمسكت معظمها من القراءة الأولى.

  • مصدر لا وجود له. أشيع الأشكال وأغلاها ثمنا. بحث أو كتاب أو تقرير أو صفحة وثائق بكل تفاصيلها صحيحة وبلا وجود.
  • رقم مصقول أكثر مما ينبغي. الأرقام المخترعة تميل إلى أن تكون مدورة ومرتبة وأن تقع حيث توقعتها بالضبط. أما الأرقام الحقيقية فأقبح عادة.
  • قاعدة أو مادة مخترعة. رقم مادة قانونية، أو بند سياسة، أو اسم إعداد في برنامج، أو اسم دالة في مكتبة. لهذه أشكال شديدة التوقع، والنموذج يبني الشكل.
  • مصدر حقيقي لادعاء لم يقله قط. أسوأ الأربعة، لأنه ينجو من فحص الروابط. فالرابط يفتح، والصفحة أصيلة، والجملة المنسوبة إليها ليست فيها.

وعند هذه الأخيرة تتفكك أغلب هيئات التحرير. فلا يكفي فتح الرابط؛ عليك أن تجد الجملة في الصفحة. ونحن نطبق القاعدة نفسها على أنفسنا، ومنها مثال مكتوب في درس كشف المحتوى المولد بالذكاء الاصطناعي: رقم لم نقرأه عند مصدره لم يطبع.

كيف نتحقق من الجواب

تنفع هنا عدة فنون فعلا، وقد كتب الصناع أنفسهم أيها ينفع. فوثائق أنثروبيك تعدد أربعة أساسية: أن تأذن للنموذج صراحة بأن يقول لا أعرف، وأن تطلب في المستندات الطويلة اقتباسات حرفية أولا ثم التحليل، وأن تلزم كل ادعاء بإيجاد اقتباس داعم وبسحب الادعاء إن لم يجده، وأن تخبر النموذج بأن يعمل من المستندات المعطاة فقط دون أن يضيف من معرفته.

وفي الصفحة نفسها الجملة التي تفوق الأربعة أهمية: هذه الفنون تقلل الهلوسة تقليلا كبيرا لكنها لا تزيلها كليا، والمعلومات الحرجة ينبغي التحقق منها دائما، خاصة في القرارات عالية المخاطر. وهذا كلام صانع النموذج لا كلام ناقد.

وثمة فن آخر تشير إليه الوثائق نفسها وهو سريع جدا عمليا: شغل المطالبة نفسها عدة مرات وقارن المخرجات؛ فالتناقض بينها قد يدل على هلوسة. والإضافة التي تعلمناها من عملنا هي أن تفعل ذلك في محادثات جديدة لا في المحادثة نفسها، وإلا رأى النموذج جوابه السابق وسار معه.

والحد الذي تصطدم به هذه الفنون كلها: النموذج الذي يفحص جوابه ليس فحصا مستقلا. فإن كان الادعاء لم يأت من مكان أصلا، فطلب اقتباس داعم من النموذج نفسه قد يضيف إليه اقتباسا داعما بدل أن يمسكه.

أربع خطوات تجعل الادعاء قابلا للدفاع

الترتيب مهم. الخطوات الثلاث الأولى يمكن تسليمها للنموذج والرابعة لا.

  1. امنح إذن عدم المعرفة

    اكتبها صراحة: إن لم تكن متأكدا فقل لا أعرف. وبدون هذه الجملة يبني النموذج شيئا.

    1
  2. الاقتباس أولا ثم التحليل

    في المستند الطويل اطلب الجمل الحرفية أولا وابن التحليل عليها.

    2
  3. اسحب كل ادعاء بلا اقتباس

    على كل ادعاء أن يجد اقتباسا داعما، وإن لم يجد حذف في مكانه.

    3
  4. افتح المصدر بنفسك

    لا يكفي أن يفتح الرابط؛ يجب أن تكون الجملة في الصفحة. وهذه الخطوة لا تفوض.

    4

لا تصل أي من هذه الخطوات الأربع بالهلوسة إلى الصفر. وصانع النموذج نفسه يكتب الشيء ذاته.

أين ينبغي ألا تسأل النموذج أصلا

القاعدة بسيطة ولا علاقة لها بالموضوع: إن كنت لا تستطيع التحقق من الجواب، فلا تسأل. فالسؤال الصحيح ليس هل النموذج جيد في هذا الحقل؛ بل هل ستلاحظ إن أجاب خطأ.

ومواضع بعينها لا تتحمل أنت كلفة الخطأ فيها: القانون والعقود، والطب والجرعات، والأسعار والنسب والرسوم، والتواريخ والمواعيد، وكل جملة عن شخص حقيقي أو شركة حقيقية. ففي هذه، الجملة الخاطئة المعقولة أسوأ من الخاطئة الظاهرة، لأنها تمر بلا مقاومة.

ونقطة تهم السوق الإيرانية خاصة. فكل ما هو محلي، أي القانون الإيراني والأسعار الداخلية وأسماء الشركات الإيرانية وشروطها، هو بالضبط حيث رأت هذه النماذج أقل قدر من النصوص. وقلة ما رأته لا تمنعها من الإجابة. بل تجيب، بالثقة نفسها، ولأن السؤال محلي فالأرجح أنك لا تستطيع التحقق منه بسرعة أيضا. وهذا المزيج أسوأ حال ممكنة.

أين نسأل وأين لا نسأل

الخط الفاصل ليس الموضوع. بل هل ستكتشف خلال دقائق أن الجواب كان خاطئا.

حيث يمكن التحقق من الجواب

  • تلخيص نص قدمته أنت
  • إعادة كتابة وتحرير شيء كتبته
  • كود تشغله وترى أخطاءه
  • توليد خيارات حين تختار أنت

حيث لا تتحمل أنت كلفة الخطأ

  • القانون والعقود وكل ما فيه مواد وبنود
  • الطب والأدوية والجرعات
  • الأسعار والنسب والرسوم
  • أي جملة عن شخص أو شركة حقيقية

العمود الثاني لا يعني أن النموذج ضعيف في تلك الموضوعات. بل يعني أن غيرك يدفع ثمن الخطأ.

القاعدة التي نلتزم بها نحن

تنص سياسة التحرير في هذا الموقع على أن البيانات والأرقام والادعاءات الفنية تفحص قبل النشر وتطابق مع مصدر عند اللزوم، وعلى أننا نستعمل أدوات الذكاء الاصطناعي في حدود المساعدة على البحث والتحرير ولا ننشر شيئا دون مراجعة واعتماد من مختص بشري.

لكن جملة في صفحة سياسة ليست إلا وعدا. والذي يحولها إلى قاعدة هو نزع تنفيذها من يد الإنسان. لذلك في قسم التعلم هذا، كل شكل يعرض رقما يجب أن يحمل بجانب ذلك الرقم نصا يطبعه متن الدرس أيضا، وإلا رفض المدقق الملف ولم يظهر الدرس أصلا. والتفصيل في كتلة الخبرة أسفل هذه الصفحة.

وبصراحة: للقاعدة كلفة. فقد صادفنا غير مرة رقما يناسب الدرس ولم نستطع قراءته عند مصدره، فحذفناه وكتبنا مكانه جملة تشرح لماذا. وتبدو الصفحة أضعف بذلك. لكن القارئ الذي يثق مرة برقم مخترع عندك ثم يكتشف ذلك لا يعود، وتلك كلفة أكبر بكثير.

المسار السريع مع الذكاء الاصطناعي

المسار السريع هنا ليس أن تبحث عن الأخطاء بعد أن يصلك الجواب. ما يفعله المحترف هو <strong>أن يعكس الترتيب</strong>: المصدر أولا ثم الجواب. فحين يضطر النموذج قبل كتابة أي ادعاء إلى قول من أين جاء وهل يستطيع اقتباس جملته، فإن جزءا كبيرا من الاختراع لا يحدث أصلا. ويكفي للتمريرة الأولى نموذج سريع ورخيص، ويلزم للحكم النهائي نموذج أقوى؛ واختياراتنا الحالية مكتوبة في <a class="text-link" href="/ar/ai/">قسم الذكاء الاصطناعي</a>.

  1. قبل أي جواب اطلب قائمة المصادر، واسأل عن كل منها هل يستطيع اقتباس جملة حرفيا.
  2. اطلب الجواب من تلك القائمة فقط، وقل صراحة إن كل ما لا سند له يجب أن يوسم بذلك.
  3. اسأل السؤال نفسه مرة أخرى في محادثة جديدة تماما وضع الجوابين جنبا إلى جنب. وحيثما اختلفا فهناك موضع الضعف.
  4. افتح الروابط بنفسك وجد الجملة في الصفحة. ولا تسلم هذه الخطوة إلى أي نموذج.

وصفة جاهزة للنسخ

== التمريرة 1: المصادر قبل الجواب (نموذج سريع ورخيص)

ستجيبني عن {الموضوع}، لكن لا تجب بعد.
أعطني أولا جدولا بثلاثة أعمدة ولا تكتب شيئا آخر:

  الادعاء الذي ستقوله | المصدر الذي تستند إليه | هل تستطيع اقتباس
  جملة من ذلك المصدر حرفيا؟ نعم أو لا

قواعد صارمة:
- إن كان العمود الثالث لا، فضع على ذلك السطر علامة «بلا مصدر».
- لا تبن مصدرا من شكله. وإن لم تكن واثقا من وجوده فاتركه.
- وإن لم يكن لديك مصدر البتة لهذا الموضوع فاكتب فقط: ليس لدي مصدر.


== التمريرة 2: الجواب من ذلك الجدول فقط (نموذج أقوى)

اكتب الآن الجواب ولا تستعمل إلا السطور التي كان عمودها الثالث نعم.
وضع بين [بلا مصدر] كل جملة تستند إلى سطر «بلا مصدر».
ولا تضف شيئا من معرفتك العامة، ولو كنت واثقا من صحته.


== التمريرة 3: المقارنة (محادثة جديدة بلا تاريخ)

افتح محادثة جديدة تماما واسأل سؤال التمريرة 1 بحرفه.
ضع الجدولين جنبا إلى جنب. وكل سطر موجود في أحدهما وغائب عن الآخر،
أو يحمل مصدرا مختلفا، هو حيث تذهب أنت وتتحقق.


== التمريرة 4: بلا نموذج

افتح كل رابط وجد الجملة في الصفحة.
فانفتاح الرابط لا يثبت شيئا.

قبل أن تثق بالناتج: تقلل هذه الوصفة عدد الهلوسات ولا تبلغ بها الصفر، وصانع النموذج نفسه يكتب الشيء ذاته. واعرف ثلاثة أمور. الأول أن النموذج قد يخترع مصدرا في التمريرة الأولى أيضا؛ فالجدول يركز عملك ويريك موضع الفحص لا أكثر. والثاني أن اتفاق الجوابين في التمريرة الثالثة ليس إثباتا: فمصدر مزيف مبني على نمط عالي التكرار قد يتكرر في المحادثتين. والثالث وهو فوقهما، أن التمريرة الرابعة لا تحذف. فإن لم يكن لديك وقت لفتح الروابط، فليس لديك وقت لنشر المادة.

الذكاء الاصطناعي في هذا العمل

موقفنا هنا أن الحل ليس نموذجا أفضل. الحل سير عمل يسلمك النتيجة مع شيء تستطيع فتحه. فالأداة التي تجيب فقط، مهما قويت، تتركك حيث بدأت. أما الأداة التي تربط الجواب بمصدر قدمته أنت فتغير العمل فعلا.

أدوات تساعد فعلا

  • NotebookLM خيارنا الأول لهذه المسألة لأن شكله صحيح: فهو لا يجيب إلا من مصادر ترفعها أنت ويحيل كل جملة إلى مصدرها. وهذا لا يزيل الهلوسة لكنه يحول التحقق من عناء إلى نقرة. وتقول مساعدة غوغل نفسها إنه يعمل في المناطق نفسها التي يعمل فيها تطبيق Gemini، وإيران ليست في تلك القائمة.
  • Gemini تصف وثائق غوغل نفسها خاصية الإسناد التي تصل جواب النموذج بنتائج البحث وتعيد إحالات. وانتبه إلى أن هذا ليس تحققا تلقائيا أيضا؛ إنما يعطيك شيئا تستطيع فتحه. وإيران ليست في قائمة الدول المدعومة لتطبيق Gemini؛ قرأنا ذلك على صفحة غوغل ولم نقسه.
  • Claude لوثائقهم صفحة تعدد فنون تقليل الهلوسة، وتقول في الموضع نفسه إن هذه الفنون لا تزيلها. وهو مناسب للتمريرة الأولى في الوصفة أعلاه، لأنه يلتزم جيدا بتعليمة العمل من المستند المعطى فقط. وإيران ليست في أي من قائمتي الدول المدعومة لدى أنثروبيك.

اين ينقلب ضدك

ثلاثة مخاطر خاصة بهذا الموضوع. الأول أن طلب المصادر من النموذج قد ينتج هلوسة بذاته: فالنموذج يعرف شكل الإحالة، وإن لم تكن لديه إحالة حقيقية بنى الشكل؛ فقائمة مصادر بلا فتح الروابط أمان زائف. والثاني أن النموذج الذي يفحص جوابه ليس مستقلا وقد يضيف تبريرا إلى ادعاء بلا أساس بدل أن يمسكه. والثالث أن نسبة جملة إلى مصدر حقيقي لم يقلها تنجو من فحص الروابط، وهذا ما يجعلها أخطر الأشكال؛ وعلاجها أن تجد الجملة نفسها في تلك الصفحة. وتحذير آخر لا علاقة له بالدقة: مسودة عميل غير منشورة هي نصه، وهل تستعمل المحادثة لتدريب النموذج أم لا فيتوقف على خطة تلك الخدمة وإعداداتها وهو مكتوب على صفحتهم.

المصادر: Anthropic: reduce hallucinations Google: grounding in the Gemini API Google: where the Gemini apps are available

حدود هذه النصيحة

لا يكتب هذا الدرس أي معدل هلوسة لأي نموذج، إذ ليس لدينا مصدر يمكن الدفاع عنه لرقم كهذا، ولأن أي رقم تراه في أي مكان يتقادم سريعا. ومقارنة النماذج من هذه الجهة ليست عملنا أيضا. أما الحد العملي لهذا الدرس فيقع في موضع آخر: كل الطرق هنا تفترض أنك تستطيع التحقق من الجواب. فإن كنت لا تعرف الموضوع أصلا ولا تميز المصدر الجيد من الرديء، فلن ينقذك أي سير عمل؛ والجواب هناك أن تسأل من يعرف. وقيد أخير: الهلوسة طريقة واحدة فقط للخطأ. فقد ينتج النموذج جملة كل كلمة فيها صحيحة والاستنتاج كله خاطئ، وليس هذا الدرس عن ذلك.

من عملنا نحن

أخرجنا في هذا القسم قاعدة «لا يطبع رقم بلا مصدر» من يد الإنسان. فمدقق قسم التعلم هذا، في ملف includes/registry.php من الإضافة، يحمل قائمة بأنواع الرسوم البيانية، وكل عنصر رقمي في تلك الأنواع يجب أن يحمل قيمة ونصا للعرض معا؛ فإن غاب أحدهما رفض الملف ولم يظهر الدرس أصلا. أما أن يكون النص نفسه مطبوعا في متن الدرس أيضا فقاعدة نلتزم بها يدويا، لكن المدقق هو الذي يغلق الباب أمام رقم بلا صاحب. ونتيجة لم نكن نتوقعها: يوم كتابة هذا الدرس كانت ملفات بيانات هذا القسم تحمل مئتين وستة وعشرين شكلا، وأربعة عشر منها فقط رسوم بيانية رقمية، تحمل مجتمعة ستة وخمسين عنصرا مرقما. أي أن كل أشكال هذا القسم تقريبا لا تذكر أي رقم عمدا. فحين يستحيل رسم رقم بلا مصدر، يرسم مكانه شكل لا يدعي رقما، ولم تخسر الصفحة بذلك شيئا.

اسئلة متابعة حقيقية

ألا تهلوس النماذج الأحدث؟

أقل، لكن ليس صفرا، ولا نكتب أي رقم للمقارنة لأنه ليس لدينا مصدر يمكن الدفاع عنه. والأهم أن الآلية لم تتغير: فالنموذج لا يزال يبني أرجح استمرار ولا يزال بلا سلك مدخل اسمه مصدر الحقيقة. ووثائق أنثروبيك نفسها تقول إن فنون تقليل الهلوسة لا تزيلها كليا.

إن طلبت من النموذج مصادر، هل تحل المشكلة؟

لا، لأن قائمة المصادر نفسها قد تكون مخترعة. فالنموذج يعرف شكل الإحالة جيدا ويبني ذلك الشكل. ولا تساوي قائمة المصادر شيئا إلا حين تفتح الروابط وتجد الجملة في الصفحة؛ وانفتاح الرابط وحده لا يكفي.

لماذا لا يقول النموذج لا أعرف بدل الاختراع؟

لأن لا أعرف ليست استمرارا مرجحا إلا أن ترجحها أنت. فالنموذج محسن من أجل الطلاقة والحسم، فينتج جملا بلا تحفظ. وإن كتبت في المطالبة صراحة أن يقول لا أعرف عند عدم اليقين تغير سلوكه؛ ووثائق الصناع أنفسهم تقدم هذا بالذات فنا أول.