تقنيات متقدمة في صياغة المطالبات

ما هذه الدرجات الخمس، وماذا تعني الدرجة الأعلى

التقنيات الخمس في هذا الدرس تفعل شيئا واحدا: تضيف إلى المطالبة شيئا لم يكن فيها. بلا أمثلة يعني أنك تسأل فحسب. وبأمثلة يعني أنك تضع أيضا بضعة أزواج من مدخل ومخرج صحيح. وسلسلة التفكير تعني أن تطلب الخطوات قبل الجواب. والمخرج المهيكل يعني أن تثبت شكل الجواب بحيث يستطيع برنامج قراءته. والمطالبة النظامية تعني قواعد تنطبق على كل رسالة ولا تكرر في كل مرة.

وهنا النقطة التي تضيع في أغلب الشروح: هذا السلم ليس مقياس جودة. فالدرجة الأعلى لا تعطي جوابا أفضل، بل تصنع مطالبة أكبر. وكل درجة تصعدها تضيف ثلاثة أشياء: رموزا، وتأخيرا، وشيئا آخر يمكن أن يكون خاطئا. والمثال الذي يناقض قواعدك أسوأ من غياب المثال.

فالقاعدة العملية هي: ابدأ من الدرجة الأولى ولا تصعد إلا حين يريك مخرج أين قصر. وأربع من كل خمس مطالبات في العمل الحقيقي تبقى على الدرجة الأولى، وليس ذلك علامة مبتدئ.

إعطاء الأمثلة: كم مثالا يكفي ومتى ينقلب الأثر

مصطلح few-shot جاء من ورقة أوبن إيه آي سنة ٢٠٢٠ بعنوان «النماذج اللغوية متعلمة من أمثلة قليلة»، والفكرة بسيطة: بدل أن تشرح العمل، اعرض بضعة أمثلة عليه. وللأعمال التي يرى شكلها أسهل مما يوصف، تنفع هذه الدرجة فعلا: التصنيف، والنبرة، وأي قالب كثير التفاصيل.

مثال حقيقي. لنفترض أنك تريد توزيع رسائل العملاء الواردة على أربع فئات. بلا أمثلة، تقول المطالبة «ضع هذه الرسالة في واحدة من هذه الفئات الأربع» فيصيب النموذج أغلبها ويجتهد في الحالات الحدية. وبأمثلة، تختار أنت تلك الحالات الحدية:

الرسالة: مرحبا، وصل الطلب ١٢٣ أمس لكن العلبة كانت مهشمة. والقطعة داخلها سليمة.
الفئة: شكوى

الرسالة: هل تخبروني متى يصل الطلب ١٢٣؟
الفئة: متابعة طلب

الرسالة: مرحبا. أريد ثلاثا من الصنف السابق نفسه.
الفئة: طلب جديد

قيمة هذه الأسطر الثلاثة في الشيء الذي لم يكن يمكن كتابته: أن «العلبة مهشمة والقطعة سليمة» تبقى شكوى قرار منك أنت لا قاعدة عامة. والأمثلة تنقل تلك القرارات الحدية بالضبط.

أما عن العدد فلا رقم سحري، ومن يعطيك رقما فهو يخمن. ويقول إرشاد أوبن إيه آي للنماذج الاستدلالية إن تجرب بلا أمثلة أولا وتضيف الأمثلة عند الحاجة فقط، ويحذر في الصفحة نفسها من أن الأمثلة يجب أن تتوافق تماما مع التعليمات، لأن التعارض بينهما يفسد المخرج.

وثلاثة مواضع ينقلب فيها أثر الأمثلة: حين تأتي كلها من فئة واحدة فينسخ النموذج ذلك التوزيع؛ وحين يناقض مثال قاعدة من قواعدك، فيصدق النموذج المثال لا القاعدة؛ وحين تؤخذ الأمثلة من بيانات عملاء حقيقية، لأن تلك البيانات ترافق كل تشغيل من الآن فصاعدا.

من أين جاءت سلسلة التفكير ولماذا صارت أقل لزوما اليوم

في يناير ٢٠٢٢ صدرت ورقة من باحثين في غوغل بعنوان «مطالبة سلسلة التفكير تستدعي الاستدلال في النماذج اللغوية الكبيرة». وكان ادعاؤها أن أمثلتك إن عرضت الخطوات الوسيطة إلى الجواب، تحسن أداء النماذج الكبيرة بما يكفي في مسائل الحساب والمنطق. ومن تلك الورقة دخلت عبارة «فكر خطوة بخطوة» كل الشروح.

وبعد نحو خمس سنوات، يقول إرشاد الشركات نفسها شيئا آخر. فصفحة أوبن إيه آي عن أفضل طريقة للعمل مع النماذج الاستدلالية تقول أبق المطالبات بسيطة ومباشرة وتجنب مطالبة سلسلة التفكير، لأن هذه النماذج تستدل داخليا ولا حاجة إلى أن تطلب منها التفكير خطوة بخطوة. ووثائق أنثروبيك عن التفكير الممتد تقول فضل التعليمات العامة على الخطوات الموصوفة: فجملة مثل «فكر بعمق» تعطي استدلالا أفضل من خطة خطوة بخطوة كتبتها بيدك.

فالتقنية لم تصر خاطئة؛ بل انتقلت. انتقلت إلى داخل النموذج. وموضعان ما زالا يريدانها: النماذج الأصغر والأقدم التي لا استدلال داخلي فيها، وكل مرة تريد فيها أن ترى الخطوات لتناقشها. والثاني سبب وجيه، وسببه التفتيش لا جودة الجواب.

وتحذير قلما تقرأه: الخطوات التي يطبعها النموذج ليست تقريرا عما جرى داخله. فذلك النص أنتج بالطريقة نفسها التي أنتج بها باقي النص. وقد يكون الجواب صحيحا والخطوات لا صلة لها، أو تكون الخطوات مقنعة والجواب خاطئا. عده شرحا معروضا عليك لا إيصالا مختوما. هذا موقفنا، وهو ينتج من الآلية الموصوفة في درس النموذج اللغوي الكبير.

خذ التاريخ أعلى الصفحة على محمل الجد. فإرشاد الشركات هو بالضبط ما يتبدل بسرعة هنا، وهذه الفقرة من جنس الادعاءات التي قد يصير نصفها خاطئا بعد سنة.

المخرج المهيكل: حين يجب أن يدخل الجواب إلى برنامج

هذه هي الدرجة الوحيدة التي تسدد ثمنها في العمل الحقيقي دائما تقريبا، والسبب ليس جودة النص: فالجواب ذو الشكل الثابت يمكن فحصه آليا. فما دام المخرج فقرة سلسة، فالطريق الوحيد لتقييمه قراءته. أما حين يكون المخرج سجلا بمفاتيح مسماة، فخمسة أسطر من الشيفرة تقول لك أي سجل معطوب.

وهناك طريقان للحصول عليه والفرق بينهما مهم. الأول أن تطلب الشكل في المطالبة وتأمل. والثاني أن تستعمل الوضع الذي بنته الشركات لهذا، وهو يقيد المخرج بمخطط محدد؛ ولدى أنثروبيك وغوغل وثائق منفصلة له. فإن كنت تعمل عبر واجهة برمجية فخذ الثاني. وإن كنت تعمل في نافذة محادثة فالأول خيارك الوحيد، ويصير فحص المخرج ضمانتك الوحيدة.

وفخ يخص كتاب العربية والفارسية ولا تجده في أي وثيقة إنجليزية: إن قالت قواعدك «رقم بين ١ و٣» بالأرقام العربية الهندية، فقد يجيب النموذج بالأرقام نفسها، فيتوقف المخرج عن كونه JSON صالحا، لأن JSON لا يقبل إلا الأرقام اللاتينية. والحل جملة واحدة: قل في القاعدة إن الأرقام لاتينية. وقد وضعنا ذلك في الوصفة أدناه.

وعادة قيمتها أكبر من التقنية: لا تدع مخرجا مهيكلا ينفذ مباشرة شيئا يصعب التراجع عنه. كإرسال بريد إلى عميل أو تسجيل مرتجع أو تغيير سعر. ضع إنسانا بين المخرج والفعل، على الأقل حتى تجربه على مئة سجل حقيقي.

المطالبة النظامية: قواعد لا تكررها في كل مرة

المطالبة النظامية هي حيث تستقر القواعد الثابتة لعملك، وتنطبق على كل رسالة في تلك المحادثة. وفي الواجهة البرمجية هي معامل منفصل، ولدى أنثروبيك صفحة وثائق مخصصة له. وفي منتجات المحادثة هي ما تلقاه بأسماء مثل التعليمات المخصصة أو تعليمات المشروع.

ما مكانه هناك: من أنت ولمن تكتب، والقيود التي لا تتغير، وأعراف المخرج مثل أنك لا تريد قائمة نقطية أبدا. وما لا مكان له هناك: تفاصيل مهمة بعينها، وكل ما يتغير مع كل طلب، وبداهة لا كلمات مرور ولا مفاتيح.

ونقطة تغيب عن أغلب الشروح: المطالبة النظامية ليست حدا أمنيا. إنها قاعدة يتبعها النموذج عادة، لا جدارا لا يعبره شيء. فالنص الذي تلصقه في رسالتك التالية، محتوى صفحة ويب أو رسالة عميل، قد يحمل داخله تعليمة تناقض قواعدك. وهذا هو الشيء المسمى باسمه الصحيح في البلوك أسفل هذه الصفحة.

أين لا تضع هذه التقنيات

أربع حالات يكون فيها صعود السلم كلفة فحسب. الأولى عمل لمرة واحدة: ما تفعله مرة لا يستحق أمثلة ومخططا ومطالبة نظامية؛ اسأل، واقرأ الجواب، وانته. والثانية حين تكون المشكلة نقص المعلومة: فإن كان الجواب الصحيح يحتاج بيانات لا يملكها النموذج، فلا درجة تخلقها والحل تقديم البيانات.

والثالثة حين يكون المخرج لإنسان لا لبرنامج. فالمخرج المهيكل هناك يضيف احتكاكا ويجعل النص أكثر جفافا. والرابعة وهي الأكبر: حين لا تملك طريقة لفحص النتيجة. فالمزيد من التقنية يجعل الجواب الخاطئ يبدو أوثق وأكثر انتظاما، وهذا يجعله أخطر. وإن لم تستطع قول شكل المخرج الصحيح، فحل ذلك أولا.

وخلاصة تستحق التكرار: من بين هذه الدرجات الخمس، أعلاها عائدا في العمل اليومي هي المخرج المهيكل، لأنها الدرجة الوحيدة التي تجعل الجودة قابلة للقياس. أما البقية فتغير الجودة وتترك القياس حيث كان.