مدل زبانی بزرگ (LLM) چیست

توکن چیست و چرا همه چیز با آن شمرده می شود

مدل متن را کلمه به کلمه نمی بیند. اول متن را به قطعه هایی می شکند که به آنها توکن می گویند: گاهی یک کلمه کامل، گاهی نصف یک کلمه، گاهی فقط یک علامت نگارشی یا یک فاصله. این تقسیم بندی را کسی دستی ننوشته؛ از روی همان متنی ساخته شده که مدل با آن آموزش دیده. برای همین کلمه های پرتکرار معمولا یک توکن می شوند و کلمه های نادر به چند تکه می شکنند.

چرا این برای شما مهم است: هر چیزی که در این ابزارها شمرده می شود بر حسب توکن است. سقف ورودی، سقف خروجی و صورتحساب. وقتی جایی می خوانید ورودی هر یک میلیون توکن چند دلار است، واحد همین است و نه کلمه و نه کاراکتر.

یک نکته که برای فارسی زبان ها جدی است: زبانی که در متن آموزش کمتر دیده شده معمولا به توکن های ریزتری شکسته می شود، یعنی همان معنی با تعداد بیشتری توکن نوشته می شود و در نتیجه گران تر تمام می شود. ما این را روی این سرور اندازه نگرفته ایم، چون توکنایزر هیچ کدام از این مدل ها اینجا نصب نیست و عددی که منبع نداشته باشد نمی نویسیم. اگر برایتان مهم است، یک پاراگراف فارسی و ترجمه انگلیسی اش را در شمارنده توکن خود سازنده بگذارید و دو عدد را کنار هم ببینید؛ ده ثانیه طول می کشد و جواب مال خودتان است.

پنجره متن چقدر است و چه چیزی نیست

پنجره متن سقف چیزی است که مدل در یک نوبت می تواند ببیند: پرامپت شما، فایل هایی که چسبانده اید و کل گفتگوی تا اینجا، همه با هم. هر چیزی که بیرون این سقف بماند برای مدل وجود ندارد. نه اینکه فراموشش کرده باشد؛ اصلا ندیده.

اندازه ها بزرگ اند و بین سازنده ها فرق می کنند. در فهرست منبع دار خود ما، کلود اپوس ۵ پنجره یک میلیون توکن دارد و مستندات مدل های انتروپیک همین را می گوید. GPT-5.6 Terra بنا بر صفحه مدل خود اوپن ای آی روی یک میلیون و پنجاه هزار توکن است. و لاما ۴ اسکات که وزن هایش باز است، روی کارت مدل متا ده میلیون توکن اعلام شده؛ این آخری ادعای سازنده است و نه چیزی که ما سنجیده باشیم.

حالا آن چیزی که پنجره متن نیست: حافظه. مدل بین دو گفتگو چیزی به یاد نمی آورد، و داخل یک گفتگو هم هر بار کل متن را از نو می خواند. برای همین گفتگوی طولانی گران تر و کندتر می شود. قاعده ای که خودمان رعایت می کنیم ساده است: در گفتگوی بلند، دستور مهم را نزدیک انتها دوباره می نویسیم به جای اینکه به یک بار گفتنش در ابتدا اکتفا کنیم.

و یک هشدار درباره خود این اعداد: پنجره بزرگ تر یعنی مدل بیشتر می بیند، نه اینکه بهتر می فهمد. هیچ سازنده ای قول نمی دهد کیفیت جواب در انتهای یک پنجره ده میلیونی همان کیفیت ابتدای آن باشد.

آموزش و اجرا: دو کار کاملا متفاوت

دو چیزی که مدام با هم قاطی می شوند. آموزش یک بار اتفاق می افتد، هفته ها یا ماه ها طول می کشد، روی انبوهی سخت افزار گران اجرا می شود و نتیجه اش یک فایل وزن است که دیگر عوض نمی شود. اجرا همان چیزی است که وقتی شما تایپ می کنید رخ می دهد: وزن ها ثابت اند و فقط ورودی شما از میان آنها عبور می کند و خروجی ساخته می شود.

چیزی که از این تفکیک بیرون می آید و بیشتر آدم ها انتظارش را ندارند: مدل از گفتگوی شما یاد نمی گیرد. اگر امروز اشتباهش را تصحیح کنید، فردا در یک گفتگوی تازه همان اشتباه را می کند. آنچه در بعضی محصولات حافظه نامیده می شود، یک یادداشت کنار مدل است که به ابتدای گفتگو چسبانده می شود، نه تغییری در خود مدل.

یک تبصره که به بند بعدی وصل است و نباید با هم اشتباه شوند: اینکه مدل از گفتگو یاد نمی گیرد به این معنا نیست که متن شما جایی ذخیره نمی شود. نگهداری داده و استفاده از آن برای آموزش نسخه های بعدی، تصمیم شرکت سازنده است و بسته به نوع حساب و تنظیمات فرق می کند.

چرا «می داند» کلمه غلطی است

یک مدل زبانی در هر قدم فقط یک کار می کند: با توجه به همه توکن های تا اینجا حساب می کند که توکن بعدی چه چیزی محتمل تر است، یکی را انتخاب می کند، و دوباره از اول. جمله ای که می خوانید حاصل تکرار همین یک قدم است، نه بازیابی یک جواب ذخیره شده از جایی.

دو پیامد مستقیم دارد. اول اینکه چیزی را که نمی داند هم با همان روانی می نویسد، چون در این حساب هیچ سیگنالی وجود ندارد که بگوید این تکه واقعیت است و آن تکه ساخته شده. برای همین یک عنوان مقاله یا یک شماره صفحه می تواند کاملا درست به نظر برسد و اصلا وجود نداشته باشد. انتروپیک خودش این حالت را در مستنداتش توهم می نامد و راه های کم کردنش را توضیح می دهد، یعنی سازنده هم آن را ضعف واقعی می داند نه شایعه.

دوم اینکه انتخاب توکن بعدی همیشه سراغ محتمل ترین گزینه نمی رود؛ کمی تصادف در کار است و همین باعث می شود یک سوال یکسان دو جواب متفاوت بگیرد. در دسترسی برنامه نویسی می شود این را کنترل کرد، در چت معمولا نه.

محک عملی که از هر بحث فلسفی کوتاه تر است: هر ادعایی که مدل می دهد و شما نمی توانید در کمتر از یک دقیقه بازش کنید و ببینید، هنوز یک ادعاست. این جمله را روی هر مدلی می شود اجرا کرد، امروز و سال بعد.

این توضیح در کار روزمره به چه دردی می خورد

چهار چیز، هر کدام مستقیما از یکی از بندهای بالا. یک: چون مدل کل گفتگو را هر بار از نو می خواند، گفتگوی طولانی را بشکنید و برای هر کار تازه از یک صفحه خالی شروع کنید. دو: چون ارجاع را می سازد، هیچ منبعی را بدون باز کردن لینکش قبول نکنید؛ اگر اصلا لینکی نداد، یعنی جستجویی در کار نبوده.

سه: چون حساب بر حسب توکن است، خواستن خروجی کوتاه تر واقعا ارزان تر تمام می شود و فرستادن یک فایل صد صفحه ای برای گرفتن یک جواب دو خطی واقعا گران است. چهار: چون مدل از گفتگو یاد نمی گیرد، دستوری را که هر بار تکرار می کنید در یک فایل کوتاه نگه دارید و ابتدای هر گفتگو بچسبانید. همین یک عادت در کار خود ما بیشترین وقت را برگردانده، و هیچ اشتراک گران تری لازم ندارد.

و یک چیزی که از این توضیح بیرون نمی آید: اینکه کدام مدل برای کار شما بهتر است. آن جواب به بنچمارک و قیمت و دسترسی وابسته است و هفته به هفته عوض می شود، پس جایش بخش مرجع همین سایت است و نه یک درس مفهومی که قرار است سال بعد هم درست بماند.