توهم هوش مصنوعی چیست
توهم یعنی مدل چیزی را با همان لحن مطمئنی می گوید که حقیقت را می گوید، در حالی که آن چیز اصلا وجود ندارد. علتش خراب بودن مدل نیست: مدل محتمل ترین ادامه متن را می سازد، و یک منبع جعلی که درست به نظر برسد از نظر آماری همان قدر محتمل است که یک منبع واقعی.
- درس ۱۲ از ۱۵
- مقدماتی
- رایگان، بدون ثبت نام
چیزی که می خوانید و چیزی که زیرش نیست
بالای خط، جمله ای که همه چیزش درست به نظر می رسد. زیر خط، چیزهایی که آن جمله ادعا می کند وجود دارند.
جواب روان و مطمئن
همان لحنی که برای جواب درست هم به کار می رود. لحن، هیچ اطلاعاتی درباره درستی ندارد.
منبعی که وجود ندارد
نویسنده و سال و مجله، همه با شکل درست. جستجوی عنوان در چند ثانیه جوابتان را می دهد.
عددی که خوش تراش است
گرد، خوش قواره و درست همان اندازه ای که انتظارش را داشتید. عدد واقعی معمولا زشت تر است.
قاعده یا ماده ای که ساخته شده
شماره ماده، بند سیاست، نام تنظیم یا نام تابع. شکلشان قابل پیش بینی است، پس ساخته می شود.
منبع واقعی، برای ادعایی که نکرده
از بررسی لینک رد می شود. تنها راهش این است که همان جمله را در همان صفحه پیدا کنید.
هیچ کدام از این چهار شکل نادر نیست و هیچ کدام هم نشانه ای روی جمله نمی گذارد. تنها راه دیدنشان، رفتن سراغ خود منبع است.
آخرین بررسی: فکت ها و نام ابزارهای این درس در همین تاریخ با منابعشان بازبینی شده اند.
چرا اسم «توهم» گمراه کننده است
توهم اسمی است که به این پدیده داده اند: مدل جمله ای می سازد که در ظاهر همه چیزش درست است و در واقعیت هیچ پشتوانه ای ندارد. یک مقاله با نویسنده و سال و مجله که هرگز نوشته نشده. یک ماده قانونی با شماره که وجود ندارد. عددی که در هیچ منبعی نیست.
مشکل خود این اسم است. «توهم» یعنی چیزی خراب شده و مدل از حالت عادی خارج شده. اتفاقی که واقعا می افتد برعکس این است. مدل در همان لحظه دقیقا همان کاری را می کند که وقتی جواب درست می دهد: محتمل ترین ادامه را می سازد. وقتی جواب درست است، محتمل ترین ادامه اتفاقا با واقعیت هم می خواند. وقتی غلط است، نمی خواند. از داخل آن حساب، این دو حالت اصلا از هم قابل تشخیص نیستند.
موضع ما این است که این تمایز عملی است و نه فلسفی. اگر توهم را نقص بدانید، منتظر می مانید تا نسخه بعدی درستش کند. اگر آن را رفتار عادی همان ساز و کار بدانید، به جای انتظار، فرایندتان را طوری می چینید که هر ادعای قابل بررسی، بررسی شود. دومی کار می کند.

چرا پیش بینی، اعتماد به نفس تولید می کند
یک مدل زبانی متن را توکن به توکن می سازد و در هر قدم محتمل ترین ادامه را انتخاب می کند. سازوکارش را در درس مدل زبانی بزرگ چیست نوشته ایم. چیزی که اینجا مهم است یک جمله از همان درس است: هیچ سیم ورودی به اسم منبع حقیقت به این حساب وصل نیست.
پس وقتی از مدل منبع می خواهید، چه اتفاقی می افتد. مدل شکل یک ارجاع را خیلی خوب یاد گرفته: اسم خانوادگی، سال داخل پرانتز، عنوانی که به موضوع می خورد، نام مجله ای که در آن حوزه معتبر است. همه اینها الگوهای پرتکرار متن اند. آنچه یاد نگرفته این است که این ارجاع مشخص واقعا وجود دارد یا نه، چون آن حقیقت جایی در این حساب نمی نشیند.
و لحن مطمئن. مدل روی روان بودن بهینه شده و روانی یعنی جمله بی تردید. مدلی که مدام بگوید شاید و مطمئن نیستم، در ارزیابی ها بدتر به نظر می رسد، پس این ابزارها به سمت قاطعیت رانده شده اند. نتیجه اش برای شما ساده و ناخوشایند است: لحن مدل هیچ اطلاعاتی درباره درستی جوابش ندارد. جواب غلط و جواب درست، هر دو با همان اطمینان می آیند و همین است که کار را خطرناک می کند.
شکل های کلاسیک خطا را از حفظ بشناسید
توهم شکل تصادفی ندارد. چند الگوی مشخص دارد و وقتی آنها را بشناسید، اغلبشان را در همان خواندن اول می گیرید.
- منبعی که وجود ندارد. پرتکرارترین و پرهزینه ترین شکل. مقاله، کتاب، گزارش یا صفحه مستنداتی با همه مشخصات درست و بدون وجود خارجی.
- عددی که خوش تراش است. اعداد ساختگی معمولا گرد و خوش قواره اند و درست همان اندازه ای هستند که انتظارش را دارید. عدد واقعی معمولا زشت تر است.
- قاعده یا ماده ای که ساخته شده. شماره ماده قانون، بند سیاست، نام تنظیم یک نرم افزار، نام تابعی در یک کتابخانه. اینها شکل بسیار قابل پیش بینی دارند و مدل شکلشان را می سازد.
- منبع واقعی، برای ادعایی که نکرده. بدترینشان، چون از بررسی لینک هم رد می شود. لینک باز می شود، صفحه معتبر است، ولی آن جمله ای که به آن نسبت داده شده در آن صفحه نیست.
آن مورد آخر جایی است که بیشتر تحریریه ها زمین می خورند. باز کردن لینک کافی نیست؛ باید همان جمله را در آن صفحه پیدا کنید. ما همین قاعده را روی خودمان اجرا می کنیم و در درس تشخیص محتوای هوش مصنوعی یک نمونه اش را نوشته ایم: عددی که در منبعش نخواندیم، چاپ نشد.
چطور جواب را بررسی کنیم
چند فن اینجا واقعا کار می کنند و جالب است که خود سازنده ها نوشته اند کدام ها. مستندات انتروپیک چهار تای پایه را می شمارد: به مدل صراحتا اجازه بدهید بگوید نمی داند، برای متن های طولانی اول نقل قول عین به عین بخواهید و بعد تحلیل، هر ادعا را وادار کنید یک نقل قول پشتیبان پیدا کند و اگر پیدا نکرد آن ادعا را پس بگیرد، و به مدل بگویید فقط از سندهای داده شده کار کند و از دانش خودش چیزی نیاورد.
و در همان صفحه، جمله ای که مهم تر از هر چهار تاست: این فنون توهم را به میزان قابل توجهی کم می کنند ولی به کلی از بین نمی برند، و اطلاعات حیاتی را همیشه باید راستی آزمایی کرد، به خصوص برای تصمیم های پرریسک. این را سازنده مدل نوشته است، نه یک منتقد.
یک فن دیگر هم هست که همان مستندات به آن اشاره می کند و در عمل خیلی سریع است: یک پرامپت را چند بار اجرا کنید و خروجی ها را کنار هم بگذارید؛ ناسازگاری میان جواب ها می تواند نشانه توهم باشد. اضافه ای که ما از کار خودمان یاد گرفته ایم این است که این کار را در گفتگوهای تازه انجام بدهید، نه در همان گفتگو، وگرنه مدل جواب قبلی خودش را می بیند و با آن هماهنگ می شود.
و مرزی که همه این فنون به آن می خورند: مدلی که جواب خودش را بررسی می کند، بررسی مستقل نیست. اگر ادعایی از اول از هیچ جا نیامده، خواستن نقل قول پشتیبان از همان مدل، می تواند به جای گرفتن ادعا، یک نقل قول پشتیبان هم به آن اضافه کند.
چهار قدمی که یک ادعا را قابل دفاع می کند
ترتیب مهم است. سه قدم اول را می شود به مدل سپرد و قدم چهارم را نمی شود.
- ۱
اجازه ندانستن بدهید
صریح بنویسید که اگر مطمئن نیستی بگو نمی دانم. بدون این جمله، مدل چیزی می سازد.
- ۲
اول نقل قول، بعد تحلیل
برای سند طولانی، اول جمله های عین به عین را بخواهید و تحلیل را روی همان ها بنا کنید.
- ۳
ادعای بی نقل قول را پس بگیرید
هر ادعا باید یک نقل قول پشتیبان پیدا کند و اگر پیدا نکرد، همان جا حذف شود.
- ۴
خودتان منبع را باز کنید
باز شدن لینک کافی نیست؛ همان جمله باید در آن صفحه باشد. این قدم را نمی شود سپرد.
هیچ یک از این چهار قدم توهم را صفر نمی کند. خود سازنده مدل هم همین را نوشته است.
کجا اصلا نباید از مدل بپرسید
قاعده ساده است و به موضوع ربطی ندارد: اگر نمی توانید جواب را بررسی کنید، نپرسید. سوال درست این نیست که مدل در این حوزه خوب است یا نه؛ این است که اگر غلط جواب بدهد، شما متوجه می شوید یا نه.
چند جای مشخص که هزینه اشتباه را خودتان نمی دهید: حقوق و قرارداد، پزشکی و دارو، قیمت و نرخ و کارمزد، تاریخ و مهلت، و هر جمله ای که درباره یک آدم یا یک شرکت واقعی است. در این ها یک جمله باورپذیر و غلط از یک جمله واضحا غلط بدتر است، چون بدون مقاومت رد می شود.
و یک نکته که برای بازار ایران جدی است. هر چیزی که محلی است، یعنی قانون ایران، قیمت های داخلی، نام ها و شرایط شرکت های ایرانی، دقیقا همان جایی است که این مدل ها کمترین متن را دیده اند. ولی کم دیدن باعث نمی شود جواب ندهند. جواب می دهند، با همان اطمینان، و شما هم چون سوال محلی است احتمالا نمی توانید سریع بررسی اش کنید. این ترکیب، بدترین حالت ممکن است.
کجا بپرسیم و کجا نپرسیم
خط جداکننده موضوع نیست. این است که اگر جواب غلط باشد، شما در چند دقیقه می فهمید یا نه.
جایی که جوابش را می شود بررسی کرد
- خلاصه کردن متنی که خودتان داده اید
- بازنویسی و ویرایش چیزی که خودتان نوشته اید
- کدی که اجرا می کنید و خطایش را می بینید
- ایده گرفتن، وقتی خودتان انتخاب می کنید
جایی که هزینه اشتباه را شما نمی دهید
- حقوق، قرارداد و هر چیزی که ماده و بند دارد
- پزشکی، دارو و مقدار مصرف
- قیمت، نرخ و کارمزد
- هر جمله ای درباره یک آدم یا شرکت واقعی
ستون دوم به معنی «مدل در این موضوع ضعیف است» نیست. یعنی هزینه اشتباه را کس دیگری می دهد.
قاعده ای که خودمان رویش ایستاده ایم
در سیاست تحریریه این سایت نوشته شده که داده ها و اعداد و ادعاهای فنی پیش از انتشار بررسی و در صورت لزوم با منبع تطبیق داده می شوند، و اینکه ابزار هوش مصنوعی را در حد کمک به تحقیق و ویرایش به کار می گیریم ولی هیچ محتوایی بدون بازبینی و تایید یک متخصص انسانی منتشر نمی شود.
ولی یک جمله در یک صفحه سیاست، فقط یک وعده است. چیزی که آن را به قاعده تبدیل می کند این است که اجرایش دست آدم نباشد. برای همین در همین بخش آموزش، هر شکلی که عدد نشان می دهد باید کنار آن عدد رشته ای داشته باشد که بدنه درس هم چاپش می کند، وگرنه اعتبارسنج فایل را رد می کند و درس اصلا بالا نمی آید. جزئیاتش در بلوک تجربه پایین همین درس آمده.
و صادقانه: این قاعده هزینه دارد. چند بار عددی داشته ایم که به درس می خورد و چون در منبعش نخواندیمش، حذف شد و جایش یک جمله نوشتیم که چرا ننوشتیم. صفحه از آن ضعیف تر به نظر می رسد. ولی خواننده ای که یک بار به عدد ساختگی شما اعتماد کند و بعد بفهمد، دیگر برنمی گردد، و آن هزینه خیلی بیشتر است.
مسیر سریع با هوش مصنوعی
مسیر سریع اینجا این نیست که بعد از گرفتن جواب دنبال خطا بگردید. کاری که یک حرفه ای می کند این است که <strong>ترتیب را برعکس کند</strong>: اول منبع، بعد جواب. وقتی مدل مجبور باشد قبل از نوشتن هر ادعایی بگوید از کجا می آید و آیا می تواند جمله اش را نقل کند، بخش بزرگی از ساختن، اصلا اتفاق نمی افتد. برای پاس اول یک مدل سریع و ارزان کافی است و برای قضاوت نهایی مدل قوی تر لازم می شود؛ انتخاب فعلی ما بین مدل ها در بخش <a class="text-link" href="/ai/">هوش مصنوعی</a> نوشته شده.
- قبل از هر جوابی، فهرست منابع را بخواهید و برای هر کدام بپرسید آیا می تواند یک جمله عین به عین از آن نقل کند.
- جواب را فقط از همان فهرست بخواهید و صریح بگویید هر چیزی که پشتوانه ندارد باید با علامت مشخص شود.
- همان سوال را در یک گفتگوی کاملا تازه دوباره بپرسید و دو جواب را کنار هم بگذارید. هر جا که فرق داشتند، نقطه ضعف همان جاست.
- لینک ها را خودتان باز کنید و همان جمله را در صفحه پیدا کنید. این قدم را به هیچ مدلی نسپارید.
نسخه آماده کپی
== پاس ۱: منبع قبل از جواب (مدل سریع و ارزان)
قرار است درباره {موضوع} به من جواب بدهی، ولی هنوز جواب نده.
اول یک جدول با سه ستون بده و هیچ چیز دیگری ننویس:
ادعایی که قرار است بگویی | منبعی که به آن تکیه می کنی | آیا می توانی
یک جمله عین به عین از آن منبع نقل کنی؟ بله یا خیر
قواعد سخت:
- اگر جواب ستون سوم خیر است، همان سطر را با علامت «بدون منبع» بگذار.
- هیچ منبعی را از شکلش نساز. اگر مطمئن نیستی وجود دارد، ننویس.
- اگر برای این موضوع هیچ منبعی نداری، فقط بنویس: منبعی ندارم.
== پاس ۲: جواب، فقط از همان جدول (مدل قوی)
حالا جواب را بنویس و فقط از سطرهایی استفاده کن که ستون سومشان بله بود.
هر جمله ای که به سطر «بدون منبع» تکیه دارد را داخل [بدون منبع] بگذار.
چیزی از دانش عمومی خودت اضافه نکن، حتی اگر مطمئنی درست است.
== پاس ۳: اختلاف گیری (گفتگوی تازه، بدون تاریخچه)
یک چت کاملا نو باز کن و دقیقا همان سوال پاس ۱ را بپرس.
دو جدول را کنار هم بگذار. هر سطری که در یکی هست و در دیگری نیست،
یا منبعش فرق دارد، همان جایی است که باید خودت بروی و بررسی کنی.
== پاس ۴: بدون مدل
هر لینک را باز کن و همان جمله را در صفحه پیدا کن.
باز شدن لینک هیچ چیزی را ثابت نمی کند.قبل از اعتماد به خروجی: این دستور شمار توهم را کم می کند و صفر نمی کند، و خود سازنده مدل هم همین را نوشته است. سه چیز را بدانید. اول، مدل می تواند در پاس اول هم منبع بسازد؛ جدول فقط کار شما را متمرکز می کند و جای بررسی را نشان می دهد. دوم، هماهنگی دو جواب در پاس سوم اثبات نیست: یک منبع جعلی که الگوی پرتکراری دارد می تواند در هر دو گفتگو تکرار شود. سوم و مهم تر از هر دو، پاس چهارم قابل حذف نیست. اگر وقت ندارید لینک ها را باز کنید، وقت ندارید آن مطلب را منتشر کنید.
هوش مصنوعی در این کار
موضع ما اینجا این است که راه حل، مدل بهتر نیست. راه حل، گردش کاری است که جواب را همراه چیزی به دستتان می رساند که می شود بازش کرد. ابزاری که فقط جواب می دهد، هر چقدر هم قوی، شما را در همان جای اول می گذارد. ابزاری که جواب را به منبعی که خودتان داده اید گره می زند، کار را واقعا عوض می کند.
ابزارهایی که واقعا کمک می کنند
- NotebookLM انتخاب اول ما برای این مساله، چون شکلش درست است: فقط از منبع هایی جواب می دهد که خودتان بالا داده اید و هر جمله را به همان منبع ارجاع می دهد. این توهم را حذف نمی کند ولی بررسی را از یک کار طاقت فرسا به یک کلیک تبدیل می کند. راهنمای خود گوگل می گوید در همان مناطقی کار می کند که اپ جمنای، و ایران در آن فهرست نیست.
- Gemini مستندات خود گوگل قابلیتی به اسم گراندینگ دارد که جواب مدل را به نتایج جستجو وصل می کند و ارجاع برمی گرداند. حواستان باشد این هم بررسی خودکار نیست؛ فقط چیزی به شما می دهد که بشود باز کرد. ایران در فهرست کشورهای پشتیبانی شده اپ جمنای نیست؛ این را از صفحه خود گوگل خوانده ایم و نه از تست شبکه.
- Claude مستندات خودشان صفحه ای دارد که فنون کاهش توهم را می شمارد و همان جا هم می نویسد که این فنون آن را کامل از بین نمی برند. برای پاس اول دستور بالا مناسب است، چون به دستور «فقط از سند داده شده کار کن» خوب گوش می دهد. ایران در هیچ یک از دو فهرست کشورهای پشتیبانی شده انتروپیک نیست.
کجا نتیجه معکوس می دهد
سه ریسکی که مخصوص همین موضوع اند. اول، خواستن منبع از مدل خودش می تواند توهم تولید کند: مدل شکل یک ارجاع را بلد است و اگر ارجاع واقعی نداشته باشد، شکلش را می سازد؛ پس فهرست منبع بدون باز کردن لینک ها، امنیت کاذب است. دوم، مدلی که جواب خودش را بررسی می کند مستقل نیست و می تواند به جای گرفتن یک ادعای بی پایه، یک توجیه هم به آن اضافه کند. سوم، نسبت دادن یک جمله به یک منبع واقعی که آن را نگفته، از بررسی لینک هم رد می شود و به همین دلیل خطرناک ترین شکل است؛ راه چاره اش این است که خود جمله را در آن صفحه پیدا کنید. و یک هشدار دیگر که ربطی به دقت ندارد: پیش نویس منتشر نشده یک مشتری متن اوست و اینکه گفتگو برای آموزش مدل استفاده می شود یا نه، به طرح و تنظیمات همان سرویس بستگی دارد و در صفحه خودشان نوشته شده.
منبع ها: Anthropic: reduce hallucinations Google: grounding in the Gemini API Google: where the Gemini apps are available
حد این توصیه
این درس هیچ نرخ توهمی برای هیچ مدلی نمی نویسد، چون هیچ منبع قابل دفاعی برای چنین عددی نداریم و هر عددی هم که جایی دیدید، به سرعت کهنه می شود. مقایسه مدل ها از این نظر هم کار ما نیست. مرز عملی این درس جای دیگری است: تمام روش هایی که اینجا آمده فرض می کنند شما می توانید جواب را بررسی کنید. اگر موضوعی را اصلا نمی شناسید و منبع درست و غلطش را از هم تشخیص نمی دهید، هیچ گردش کاری نجاتتان نمی دهد؛ آنجا جواب این است که از کسی بپرسید که می داند. و یک قید آخر: توهم فقط یک راه غلط شدن است. مدل می تواند جمله ای بگوید که هر کلمه اش درست باشد و کل نتیجه گیری اش غلط، و این درس درباره آن نیست.
از تجربه خود ما
قاعده «عدد بدون منبع چاپ نمی شود» را در این بخش از دست آدم درآورده ایم. اعتبارسنج همین بخش آموزش، در فایل includes/registry.php افزونه، فهرستی از نوع های نموداری دارد و هر آیتم عددی در آن نوع ها باید هم یک مقدار داشته باشد و هم یک رشته نمایشی؛ اگر یکی از این دو نباشد، فایل رد می شود و درس اصلا بالا نمی آید. اینکه همان رشته باید در بدنه درس هم چاپ شده باشد، قاعده ای است که با دست رعایت می کنیم، ولی جای عدد بی صاحب را همان اعتبارسنج می بندد. و نتیجه ای که خودمان انتظارش را نداشتیم: روزی که این درس نوشته شد، فایل های داده این بخش دویست و بیست و شش شکل داشتند و فقط چهارده تای آنها نمودار عددی بودند، روی هم با پنجاه و شش آیتم عدددار. یعنی نزدیک به همه شکل های این بخش عمدا هیچ عددی ندارند. وقتی عددی که منبع ندارد اصلا نمی تواند کشیده شود، به جایش شکلی کشیده می شود که ادعای عددی ندارد؛ و صفحه از این بابت چیزی از دست نداده است.
سوال هایی که واقعا پرسیده می شوند
مدل های جدیدتر توهم ندارند؟
کمتر، ولی نه صفر، و ما هیچ عددی برای مقایسه نمی نویسیم چون منبع قابل دفاعی نداریم. مهم تر اینکه ساز و کار عوض نشده: مدل هنوز محتمل ترین ادامه را می سازد و هنوز سیم ورودی به اسم منبع حقیقت ندارد. مستندات خود انتروپیک هم می نویسد فنون کاهش توهم آن را کامل از بین نمی برند.
اگر از مدل بخواهم منبع بدهد، مشکل حل می شود؟
نه، چون خود فهرست منبع هم می تواند ساختگی باشد. مدل شکل یک ارجاع را خیلی خوب بلد است و همان شکل را می سازد. فهرست منبع فقط وقتی ارزش دارد که لینک ها را باز کنید و همان جمله را در صفحه پیدا کنید؛ باز شدن لینک به تنهایی کافی نیست.
چرا مدل به جای ساختن، نمی گوید نمی دانم؟
چون نمی دانم یک ادامه محتمل نیست، مگر اینکه شما محتملش کنید. مدل روی روان بودن و قاطع بودن بهینه شده، پس جمله بدون تردید تولید می کند. اگر در پرامپت صریح بنویسید که در صورت نبود اطمینان بگوید نمی داند، رفتارش عوض می شود؛ خود مستندات سازنده ها همین را به عنوان اولین فن پیشنهاد می دهند.