بهترین هوش مصنوعی برای چت

چرا فیبل ۵ اول است، و چرا این جای بحث دارد

یک عدد، و یک شرط. عدد این است که فیبل ۵ در لیدربورد متن Arena با ۱۵۰۶ رتبه یک از ۳۸۹ مدل است و کل ستون چهل و پنج وزنی را می برد. شرط این است که همان مدل، ستون امتیاز به ازای دلار را کامل می بازد: خروجی اش ۵۰ دلار برای هر میلیون توکن است، گران ترین ردیف جدول، و نسبت امتیاز به قیمتش ۳۰.۱ می شود که کف جدول است.

اپوس ۵ دوازده امتیاز پایین تر است و نصف قیمت. روی لیدربوردی که کل رده بالایش در حدود پنجاه امتیاز جا شده، دوازده امتیاز فاصله زیادی نیست. پس جواب واقعی به دو سوال مختلف دو جواب مختلف دارد: اگر با API چت می سازید و قبض ماهانه دارید، اپوس ۵؛ اگر اشتراک یک اپ می خرید، ستون قیمت اصلا به شما نمی خورد و بالای جدول همان چیزی است که می خواهید.

یک نکته علیه نامزد اول خودمان، که در جدول ستون ندارد: فیبل ۵ تنها مدلی است که خود انتروپیک در جدولش «کندتر» علامت زده و تفکر تطبیقی اش همیشه روشن است، یعنی اهرمی برای خاموش کردنش نیست. در گفت و گو، تاخیر حس می شود. جدول ما این را نمی سنجد و شما در ده دقیقه اول کار با آن متوجهش می شوید.

این جدول مدل را رتبه می دهد و نه اپ را

تصمیم آگاهانه ای است و هزینه دارد، پس بگذارید صریح بگوییم. هر پنج ستون این جدول عددی است که درباره یک مدل منتشر می شود: امتیاز لیدربورد، قیمت هر میلیون توکن، پنجره متن. هیچ سازنده ای این سه را برای اپ چتش منتشر نمی کند. اگر اپ ها را ردیف می کردیم، سه ستون از پنج ستون برای بیشتر ردیف ها خالی می ماند و آن دیگر جدول نبود.

دلیل دوم مهم تر است: یک مدل زیر چند اپ کار می کند و یک اپ مدل زیرش را بی خبر عوض می کند. اپوس ۵ همزمان زیر اپ کلود، API و کلود کد است. اگر «کلود» را یک ردیف بگیریم، همان عدد را در جدول کدنویسی هم دوباره می شماریم. این همان دلیلی است که دسته ویدیو هم نسخه رتبه می دهد و نه ابزار.

در دسته مطالعه تصمیم عکس گرفتیم و آنجا درست بود، چون گوگل محدودیت های خود نوتبوک را با عدد منتشر می کند: پنجاه منبع، پانصد هزار کلمه. برای اپ چت هیچ سازنده ای چنین عددی نمی دهد. هزینه اش این است که کلود، جمینای و چت جی پی تی به عنوان اپ در این جدول ردیف ندارند و باید صفحه خودشان را ببینید.

چرا چت جی پی تی ردیف ندارد، و چه چیزی از اوپن ای آی داریم

جواب کوتاه این است که چت جی پی تی یک محصول است و این جدول مدل رتبه می دهد، پس در هر حال ردیف نمی شد. ولی جواب بلندتر مهم تر است و به ضرر خودمان تمام می شود: حتی اگر می خواستیم هم نمی توانستیم توصیفش کنیم. هر مسیری روی openai.com از این سرور کد ۴۰۳ برمی گرداند، در ۱۲ اوت ۲۰۲۶ دوباره آزمایش شد، و robots.txt همان دامنه خزیدن را منع نکرده است.

ولی یک چیز باز است و تا امروز از آن استفاده نکرده بودیم: developers.openai.com کامل جواب می دهد. جی پی تی ۵.۶ سول آنجا با ۵ دلار ورودی و ۳۰ دلار خروجی، پنجره ۱.۰۵ میلیون توکن، سقف خروجی ۱۲۸ هزار توکن و تاریخ قطع دانش ۱۶ فوریه ۲۰۲۶ فهرست شده. ردیف Arena اش هم هست. پس امروز سومین ردیف همین جدول است.

خلاصه اش این جمله است: مدل را می شود رتبه داد، اپ را نمی شود توصیف کرد. چیزی که هنوز نمی توانیم به شما بگوییم این است که امروز زیر چت جی پی تی کدام مدل کار می کند، پلن هایش چقدر است، و از ایران باز می شود یا نه. هر سه روی همان دامنه ای هستند که جواب نمی دهد. صفحه اوپن ای آی همین مرز را کامل تر نوشته.

چیزی که موقع خواندن لیدربورد فهمیدیم

دو ردیف را که خودمان «تایید نشده» ثبت کرده بودیم، لیدربورد از اول داشت. جیالام ۵.۲ مکس با ۱۴۷۰ سی وسوم است و دیپ سیک وی۴ فلش با ۱۴۳۵ هشتاد وسوم. اجرای قبلی فقط بالای صفحه را خوانده بود؛ این بار همان JSON ای را خواندیم که خود صفحه می فرستد. پس هر دو نامزدی که در این دسته رتبه نداشتند حالا دارند، و جدول کدنویسی هم جا به جا شد. این کمبود ما بود و نه کمبود سازنده ها.

دومی درباره اسم ردیف هاست. این مرجع قبلا نوشته بود که ردیف Arena یک پیکربندی سرویس دهی را نام می برد و نه یک مدل. برای اوپن ای آی یک پله جلوتر می رود: ردیف توسعه وب عینا نوشته شده gpt-5.6-sol-xhigh (codex-harness). یعنی آن عدد برای مدل داخل عامل کدنویسی خود اوپن ای آی است و نه برای مدل خام. قیمت و پنجره به مدل پایه می چسبند، امتیاز به آن چیزی که واقعا آزمایش شده.

سومی یک دام بود که در آن نیفتادیم. در همان لیدربورد ردیفی به اسم deepseek-v4-pro با ۱۴۵۸ بالاتر از فلش نشسته. آن یک مدل دیگر از همان خانواده است و نه یک تنظیم، پس عددش را قرض نگرفتیم. اگر می گرفتیم، دیپ سیک دو ردیف بالاتر می آمد و هیچ کس هم متوجه نمی شد.

جایی که روش خودمان اغراق می کند

نه ردیف این جدول در ۷۱ امتیاز الو جا شده اند، از ۱۵۰۶ تا ۱۴۳۵. نرمال سازی کمینه بیشینه همین ۷۱ امتیاز را به فاصله ۷۸.۶ تا ۲۹.۱ باز می کند. یعنی ستون امتیاز فاصله را بزرگ تر از واقع نشان می دهد و ردیف آخر «ضعیف» نیست، آخرین ردیف یک جدول از مدل های رده بالاست.

یک نمونه دقیق تر، چون خودمان هم موقع بررسی جدول جا خوردیم. ستون پنجره متن را جی پی تی ۵.۶ سول با ۱،۰۵۰،۰۰۰ توکن می برد و کیمی کی۳ مکس ۱،۰۴۸،۵۷۶ توکن دارد. اختلاف ۱۴۲۴ توکن است، حدود یک دهم درصد، و در عمل هیچ فرقی نمی کند. هر دو در آن ستون عملا تمام وزن را می گیرند و این درست است؛ ولی اگر روزی یک مدل با پنجره دو میلیونی اضافه شود، هر دوی اینها همین ستون را با هم می بازند بی آنکه چیزی درباره خودشان عوض شده باشد.