آموزش مهندسی پرامپت

یک پرامپت درست از چه تکه هایی ساخته شده

هر پرامپتی که جواب قابل استفاده می دهد چهار چیز دارد، حتی وقتی نویسنده اش اسمشان را بلد نیست. اول زمینه: مدل کجای کار ایستاده، برای چه کسی می نویسد، چه چیزی را از قبل می داند و چه چیزی را نمی داند. دوم خواسته: دقیقا چه کاری انجام شود، با یک فعل مشخص. سوم محدودیت ها: چه چیزهایی نباید در جواب باشد. چهارم شکل خروجی: جواب در چه قالبی برگردد، چند بخش، با تیتر یا بی تیتر، جدول یا پاراگراف.

سه تای اول را بیشتر آدم ها کم و بیش می نویسند. چهارمی جایی است که وقت هدر می رود، چون وقتی شکل را نگفته باشید مدل خودش یکی انتخاب می کند، و معمولا همان شکلی را انتخاب می کند که در متن های اینترنت پرتکرارتر بوده: یک مقدمه، یک فهرست گلوله ای، یک نتیجه گیری. بعد شما می نشینید و همان را دوباره می چینید.

محدودیت ها یک نکته دارند که کمتر گفته می شود: محدودیت منفی از محدودیت مثبت ضعیف تر است. «تبلیغاتی ننویس» جمله ای است که هر کسی جور دیگری می فهمدش. «هیچ صفت برتری مثل بهترین و باکیفیت ترین نیاور» یک قانون است که بعدا می شود خروجی را با آن سنجید. معیار ساده است: اگر نمی توانید بگویید چطور چک می کنید که این قانون رعایت شده، آن قانون هنوز تمام نشده.

همین چهار تکه روی یک مثال واقعی

این پرامپتی است که واقعا نوشته می شود، و اگر کمی خجالت آور به نظر می رسد برای این است که همه ما نسخه ای از آن را نوشته ایم:

یه متن برای سایتم بنویس درباره لنت ترمز. سئو شده باشه.

مدل چیزی می نویسد. هشتصد کلمه، با یک مقدمه درباره اهمیت ترمز در خودرو، یک فهرست از انواع لنت، و یک نتیجه گیری که می گوید انتخاب لنت مناسب اهمیت زیادی دارد. هیچ کدامش غلط نیست و هیچ کدامش هم به درد صفحه دسته بندی یک فروشگاه نمی خورد.

حالا همان خواسته با چهار تکه:

زمینه: من فروشگاه اینترنتی لوازم یدکی دارم و این متن برای صفحه دسته «لنت ترمز» است. خریدار معمولا مدل ماشینش را می داند ولی نمی داند کدام لنت به آن می خورد.

خواسته: یک متن ۲۰۰ کلمه ای بنویس که به خریدار کمک کند لنت مناسب ماشینش را انتخاب کند.

محدودیت: قیمت ننویس چون قیمت ها هفتگی عوض می شوند. هیچ برندی را توصیه نکن. هیچ صفت برتری مثل بهترین و باکیفیت ترین نیاور.

شکل خروجی: سه پاراگراف پشت سر هم، بدون تیتر، بدون فهرست.

تفاوت خروجی این دو، تفاوت مدل نیست. همان مدل است. چیزی که عوض شده این است که در نسخه دوم مدل چهار تصمیمی را که در نسخه اول خودش گرفته بود، دیگر نمی گیرد.

یک نکته درباره طول: «۲۰۰ کلمه» را مدل ها تقریبی رعایت می کنند و نه دقیق. اگر عدد دقیق برایتان مهم است، آن را در خروجی بشمارید و در دور بعد اصلاح کنید؛ اصرار در پرامپت این را درست نمی کند. دلیلش هم به شکل کار مدل برمی گردد که در درس مدل زبانی بزرگ آمده: مدل کلمه نمی شمارد، توکن بعدی را حدس می زند.

پرامپت اول را در سه دور چطور درست کنیم

پرامپت اول شما ناقص است و این عیب شما نیست. تا خروجی را نبینید نمی دانید کدام قسمت خواسته تان مبهم بوده؛ مبهم بودن چیزی است که فقط از بیرون دیده می شود. پس کار واقعی از دور دوم شروع می شود و یک قانون دارد: هر دور فقط یک چیز را عوض کنید. اگر سه چیز را با هم عوض کنید و نتیجه بهتر شود، هیچ چیزی یاد نگرفته اید و دفعه بعد باز از صفر شروع می کنید.

روی همان متن لنت ترمز، سه دور واقعی این شکلی است. دور اول جواب شکل درستی دارد ولی به جای کمک به انتخاب، توضیح می دهد لنت ترمز چیست. مشکل در محدودیت ها نیست، در خواسته است: «کمک کند انتخاب کند» را مدل به «آموزش بدهد» ترجمه کرده. پس خواسته را تیزتر می کنیم و بس.

دور دوم متن کمک می کند انتخاب کنید، ولی فرض گرفته خواننده کد فنی قطعه را می داند. این یکی مشکل زمینه است، نه خواسته: ننوشته بودیم خریدار چه می داند و چه نمی داند. یک خط به زمینه اضافه می شود. دور سوم معمولا همان چیزی است که می خواستید.

یک عادت که ارزشش از خود پرامپت بیشتر است: خروجی های غلط را دور نریزید. همان دو خروجی نامناسب دور اول و دوم، مجموعه آزمون شما هستند. دفعه بعد که پرامپت را عوض کردید یا مدل عوض شد، با همان ها می فهمید بهتر شده یا فقط فرق کرده.

و یک هشدار: اگر بعد از سه دور هنوز جواب درست نیست، احتمالا مشکل پرامپت نیست. یا اطلاعاتی که لازم است اصلا در پرامپت نیست، یا کاری که خواسته اید از جنس کارهایی است که مدل نمی تواند انجام دهد. دور چهارم و پنجم در این حالت فقط وقت است.

کدام پرامپت ها را نگه داریم و کجا

هر پرامپتی که قرار است بار دوم استفاده شود، ارزش ذخیره کردن دارد. جای ذخیره اش هم یک فایل متنی ساده روی کامپیوتر خودتان است، نه حافظه داخلی محصول. سه دلیل دارد: بین ابزارها جابه جا می شود، با عوض شدن اشتراک از بین نمی رود، و می توانید نسخه قدیم و جدیدش را کنار هم بگذارید و ببینید دقیقا چه چیزی عوض شده.

ولی خود پرامپت به تنهایی کافی نیست. کنارش دو چیز دیگر را هم نگه دارید: همان پنج ورودی واقعی که رویشان امتحانش کرده اید، و یک خروجی که قبول کرده اید. بدون این دو، آنچه ذخیره کرده اید فقط یک پاراگراف است؛ با این دو، چیزی است که ماه بعد می شود دوباره سنجیدش.

اسم فایل را روی کار بگذارید و نه روی ابزار. «خلاصه پیام مشتری» یک سال دیگر هم معنی دارد؛ «پرامپت چت جی پی تی ۲» ندارد.

یک چیز را در آن فایل نگذارید: داده مشتری، رمز، توکن و شماره حساب. پرامپت ها معمولا کپی می شوند و در گروه های کاری می چرخند و همان جا از دستتان خارج می شوند.

وقتی متن طولانی می دهید، سوال را کجا بگذارید

این یکی از معدود جزئیاتی است که خود سازنده ها درباره اش راهنمای صریح نوشته اند و بیشتر آموزش های فارسی از قلم انداخته اند. راهنمای گوگل برای جمنای می گوید وقتی حجم زیادی زمینه می دهید، مثلا یک سند یا یک تکه کد، اول همه زمینه را بگذارید و سوال یا دستور خودتان را در انتهای پرامپت بنویسید. همان صفحه می گوید محدودیت های اصلی رفتار، تعریف نقش و شکل خروجی را در ابتدای پرامپت یا در دستور سیستمی بگذارید.

یعنی ترتیب پیشنهادی برای یک پرامپت طولانی این است: قانون های اصلی، بعد کل متن، بعد سوال. عادت رایج دقیقا برعکس است: مردم سوال را می نویسند و بعد یک فایل پانزده صفحه ای زیرش می چسبانند.

یک صداقت لازم: ما این را روی این سرور اندازه نگرفته ایم. این راهنمای خود گوگل برای مدل خودش است و سازنده های دیگر آن را جور دیگری صورت بندی می کنند. اگر کارتان مرتب با متن های طولانی است، همان پنج ورودی آزمونتان را یک بار با سوال در اول و یک بار با سوال در آخر بدهید و خودتان قضاوت کنید. ده دقیقه وقت می برد و جواب مال شماست، نه نقل قول از ما.

آن پرامپت های جادویی که می فروشند

موضع ما صریح است: بیشتر آن بسته های «۵۰۰ پرامپت طلایی» بی ارزش اند، و دلیلش اخلاقی نیست، فنی است. یک پرامپت خوب به سه چیز گره خورده که هیچ کدامشان مال فروشنده نیست: کار مشخص شما، ورودی های واقعی شما، و مدلی که امروز استفاده می کنید. هیچ پرامپتی این سه را با خودش حمل نمی کند.

نکته دوم بدتر است. آن پرامپت ها معمولا بلندند، چون بلندی حرفه ای به نظر می رسد، و پر از قانون هایی اند که کسی اثرشان را امتحان نکرده. قانونی که اثرش امتحان نشده بی ضرر نیست: جای توجه مدل را می گیرد و گاهی با قانون های دیگر همان پرامپت تناقض دارد. کوتاه کردن یک پرامپت شلوغ معمولا بیشتر از اضافه کردن به آن جواب می دهد.

سوم اینکه هیچ کدام از این بسته ها آزمون ندارند. خروجی نشانتان می دهند، نه روشی که با آن بشود گفت این پرامپت بهتر از آن یکی است. مستندات خود انتروپیک هم قبل از فصل مهندسی پرامپت یک چیز دیگر را شرط می گذارد: اول معیار موفقیت و راه سنجیدنش را داشته باشید، بعد سراغ بهتر کردن پرامپت بروید. همان جا این را هم می گوید که هر مشکلی با پرامپت حل نمی شود؛ گاهی جواب، عوض کردن مدل است.

در مقابل، یک کتابخانه پرامپت ارزش دارد، به شرطی که مال خودتان باشد. پنج پرامپتی که برای کارهای واقعی خودتان نوشته اید و روی ورودی های خودتان امتحان کرده اید، از پانصد تای خریداری شده بیشتر می ارزد. این حرف تعارف نیست: آن پنج تا با شکست های واقعی شما ساخته شده اند و آن پانصد تا با هیچ.