میسترال لارج ۳

دو عدد پارامتر، دو محدودیت متفاوت

کارت مدل دو عدد می دهد و آدم ها معمولا یکی را می خوانند. ۶۷۵ میلیارد پارامتر کل و ۴۱ میلیارد فعال. این دو عدد دو چیز متفاوت را محدود می کنند و قاتی کردنشان گران تمام می شود.

۴۱ میلیارد فعال یعنی محاسبه لازم برای تولید هر توکن، تقریبا به اندازه یک مدل ۴۱ میلیاردی است. ۶۷۵ میلیارد کل یعنی همه آن وزن ها باید جایی بارگذاری شده باشند تا بشود در هر گام سراغ بخش درستش رفت. پس این مدل از نظر سرعت رفتار یک مدل متوسط را دارد و از نظر حافظه رفتار یک مدل خیلی بزرگ را. کسی که عدد ۴۱ را می بیند و فکر می کند روی یک کارت گرافیک معمولی بالا می آید، سخت افزار را اشتباه سفارش می دهد.

پروانه، که مهم ترین مشخصه این مدل است

آپاچی ۲ یک پروانه استاندارد و شناخته شده است: استفاده تجاری آزاد، بدون سقف کاربر، بدون اجبار نمایش نام، بدون شرط نام گذاری. این را با پروانه لاما ۴ مقایسه کنید که سقف ۷۰۰ میلیون کاربر ماهانه دارد و اسم مدل مشتق را هم دیکته می کند، یا با خود میسترال که برای وکسترال تی تی اس پروانه ای گذاشته که استفاده تجاری را ممنوع می کند.

برای شرکتی که می خواهد مدل را داخل زیرساخت خودش ببرد، این تفاوت از هر عدد بنچمارکی بیشتر تصمیم را عوض می کند.

پنجره ۲۵۶ هزار توکن، که در این جدول متوسط است

۲۵۶ هزار توکن عدد بدی نیست ولی در این مرجع بالا نیست. اپوس ۵ و فیبل ۵ و سونت ۵ و دیپ سیک وی۴ همه یک میلیون اند و لاما ۴ اسکات ده میلیون. اگر کارتان خواندن یک سند خیلی طولانی در یک پاس است، این مدل انتخاب اول نیست و صادقانه اش همین است.

چیزی که نمی توانیم بگوییم

قیمت. میسترال نرخ هیچ مدلی را به ازای میلیون توکن منتشر نمی کند و فقط پلن اشتراک می فروشد. پس ستون قیمت این مدل در فهرست ما خالی است. اگر خودتان میزبانی کنید این بحث اصلا موضوعیت ندارد و هزینه شما هزینه سخت افزار است، که شاید دلیل خود میسترال هم برای چاپ نکردنش همین باشد.