بهترین هوش مصنوعی برای چت

چرا فیبل ۵ اول است، و چرا این بار عجیب تر از همیشه است

یک عدد، و یک تناقض. عدد این است که فیبل ۵ در به روزرسانی ۲ سپتامبر لیدربورد متن Arena با ۱۵۰۷ رتبه یک است و کل ستون چهل و پنج وزنی را می برد. تناقض این است که انتروپیک همان مدل را ۱ سپتامبر legacy کرد. یعنی اول این جدول امروز مدلی است که سازنده اش دیگر پیشنهادش نمی کند.

جانشینش هم درست زیرش است. فیبل ۵.۱ با ۱۵۰۴ رتبه دوم است، سه امتیاز پایین تر، با همان قیمت و همان پنجره متن. سه امتیاز روی این بورد چیزی نیست که کسی در گفت و گو حس کند. پس رتبه بندی راست می گوید و توصیه عملی چیز دیگری است، و ما هر دو را نشان می دهیم: زیر نام فیبل ۵ در همین جدول نوشته ایم جانشینش کدام است. بازنشسته شدن یک واقعیت است و نه یک امتیاز، و rubric راهی برای امتیاز دادن به آن ندارد و نباید داشته باشد.

هر دو ستون امتیاز به ازای دلار را کامل می بازند. خروجی هر دو ۵۰ دلار برای هر میلیون توکن است، گران ترین ردیف های جدول، و نسبت امتیاز به قیمتشان ۳۰.۱ می شود که کف جدول است. اپوس ۵ با ۱۴۹۳ چهارده امتیاز پایین تر و نصف قیمت است. پس جواب واقعی به دو سوال مختلف دو جواب مختلف دارد: اگر با API چت می سازید و قبض ماهانه دارید، اپوس ۵؛ اگر اشتراک اپ می خرید، ستون قیمت به شما نمی خورد و بالای جدول همان است که می خواهید، با این تبصره که ۵.۱ را بگیرید و نه ۵.

یک نکته علیه نامزد اول خودمان، که در جدول ستون ندارد: فیبل ۵ تنها مدلی است که خود انتروپیک در جدولش «کندتر» علامت زده و تفکر تطبیقی اش همیشه روشن است، یعنی اهرمی برای خاموش کردنش نیست. در گفت و گو، تاخیر حس می شود. جدول ما این را نمی سنجد و شما در ده دقیقه اول کار با آن متوجهش می شوید.

این جدول مدل را رتبه می دهد و نه اپ را

تصمیم آگاهانه ای است و هزینه دارد، پس بگذارید صریح بگوییم. هر پنج ستون این جدول عددی است که درباره یک مدل منتشر می شود: امتیاز لیدربورد، قیمت هر میلیون توکن، پنجره متن. هیچ سازنده ای این سه را برای اپ چتش منتشر نمی کند. اگر اپ ها را ردیف می کردیم، سه ستون از پنج ستون برای بیشتر ردیف ها خالی می ماند و آن دیگر جدول نبود.

دلیل دوم مهم تر است: یک مدل زیر چند اپ کار می کند و یک اپ مدل زیرش را بی خبر عوض می کند. اپوس ۵ همزمان زیر اپ کلود، API و کلود کد است. اگر «کلود» را یک ردیف بگیریم، همان عدد را در جدول کدنویسی هم دوباره می شماریم. این همان دلیلی است که دسته ویدیو هم نسخه رتبه می دهد و نه ابزار.

در دسته مطالعه تصمیم عکس گرفتیم و آنجا درست بود، چون گوگل محدودیت های خود نوتبوک را با عدد منتشر می کند: پنجاه منبع، پانصد هزار کلمه. برای اپ چت هیچ سازنده ای چنین عددی نمی دهد. هزینه اش این است که کلود، جمینای و چت جی پی تی به عنوان اپ در این جدول ردیف ندارند و باید صفحه خودشان را ببینید.

چرا چت جی پی تی ردیف ندارد، و چه چیزی از اوپن ای آی داریم

جواب کوتاه این است که چت جی پی تی یک محصول است و این جدول مدل رتبه می دهد، پس در هر حال ردیف نمی شد. ولی جواب بلندتر مهم تر است و به ضرر خودمان تمام می شود: حتی اگر می خواستیم هم نمی توانستیم توصیفش کنیم. هر مسیری روی openai.com از این سرور کد ۴۰۳ برمی گرداند، در ۱۲ اوت ۲۰۲۶ دوباره آزمایش شد، و robots.txt همان دامنه خزیدن را منع نکرده است.

ولی یک چیز باز است: developers.openai.com کامل جواب می دهد. جی پی تی ۵.۶ سول آنجا با ۴ دلار ورودی و ۲۰ دلار خروجی، پنجره ۱.۰۵ میلیون توکن، سقف خروجی ۱۲۸ هزار توکن و تاریخ قطع دانش ۱۶ فوریه ۲۰۲۶ فهرست شده. آن قیمت تا ۱۲ اوت ۵ و ۳۰ دلار بود، پس تنها مدل این جدول است که ارزان شده.

و یک چیزی که در همین اجرا اصلاح شد و به ضرر حرف قبلی خودمان تمام می شود. نوشته بودیم فهرست کشورهای پشتیبانی شده اوپن ای آی فقط روی openai.com است و آن دامنه به سرور ما جواب نمی دهد. نصفش درست بود: دامنه هنوز ۴۰۳ می دهد، ولی همان فهرست روی developers.openai.com هم هست و آنجا باز است. حدود ۱۹۵ کشور و قلمرو نام برده شده، ایران در آنها نیست، و خود صفحه می گوید دسترسی از بیرون این فهرست می تواند به مسدود شدن حساب برسد. پس ستون ایران این ردیف از امروز پر است.

ده وزن آن ستون به اضافه افت قیمت، امتیاز جی پی تی ۵.۶ سول را از ۵۴.۲ به ۶۵.۲ رساند. با این حال یک پله پایین آمد و چهارم شد، چون فیبل ۵.۱ بالای سرش وارد جدول شد. این دقیقا همان چیزی است که «امتیاز نسبی» یعنی و دلیل اینکه حساب هر ردیف روی همین صفحه چاپ می شود.

خلاصه اش این جمله است: مدل را می شود رتبه داد، اپ را نمی شود توصیف کرد. چیزی که هنوز نمی توانیم بگوییم این است که امروز زیر چت جی پی تی کدام مدل کار می کند و پلن هایش چقدر است. هر دو روی همان دامنه ای هستند که جواب نمی دهد. صفحه اوپن ای آی همین مرز را کامل تر نوشته.

چیزی که موقع خواندن لیدربورد فهمیدیم

دو ردیف را که خودمان «تایید نشده» ثبت کرده بودیم، لیدربورد از اول داشت. جیالام ۵.۲ مکس با ۱۴۷۲ سی وهفتم است و دیپ سیک وی۴ فلش با ۱۴۳۸ هشتاد وپنجم. اجرای قبلی فقط بالای صفحه را خوانده بود؛ این بار همان JSON ای را خواندیم که خود صفحه می فرستد. پس هر دو نامزدی که در این دسته رتبه نداشتند حالا دارند، و جدول کدنویسی هم جا به جا شد. این کمبود ما بود و نه کمبود سازنده ها.

دومی درباره اسم ردیف هاست. این مرجع قبلا نوشته بود که ردیف Arena یک پیکربندی سرویس دهی را نام می برد و نه یک مدل. برای اوپن ای آی یک پله جلوتر می رود: ردیف توسعه وب عینا نوشته شده gpt-5.6-sol-xhigh (codex-harness). یعنی آن عدد برای مدل داخل عامل کدنویسی خود اوپن ای آی است و نه برای مدل خام. قیمت و پنجره به مدل پایه می چسبند، امتیاز به آن چیزی که واقعا آزمایش شده.

سومی یک دام بود که در آن نیفتادیم. در همان لیدربورد ردیفی به اسم deepseek-v4-pro با ۱۴۵۸ بالاتر از فلش نشسته. آن یک مدل دیگر از همان خانواده است و نه یک تنظیم، پس عددش را قرض نگرفتیم. اگر می گرفتیم، دیپ سیک دو ردیف بالاتر می آمد و هیچ کس هم متوجه نمی شد.

جایی که روش خودمان اغراق می کند

دوازده ردیف این جدول در ۶۹ امتیاز الو جا شده اند، از ۱۵۰۷ تا ۱۴۳۸. نرمال سازی کمینه بیشینه همین ۶۹ امتیاز را به فاصله ۷۸.۶ تا ۳۲.۲ باز می کند. یعنی ستون امتیاز فاصله را بزرگ تر از واقع نشان می دهد و ردیف آخر «ضعیف» نیست، آخرین ردیف یک جدول از مدل های رده بالاست.

سه نامزد تازه امروز وارد این جدول شدند و هیچ کدام از آنها هیچ چیز درباره خودش عوض نکرده بود. فیبل ۵.۱ دوم، میوز اسپارک ۱.۲ از متا پنجم و جمینای ۳.۸ فلش از گوگل ششم. ورودشان قوان ۳.۸ مکس را از چهارم به هشتم برد، در حالی که تنها اتفاق واقعی برای قوان این بود که عددش روی همان لیدربورد از ۱۴۹۰ به ۱۴۸۰ آمد. اگر رتبه دیروز را جایی یادداشت کرده اید، این توضیح تفاوت است.

یک نمونه دقیق تر، چون خودمان هم موقع بررسی جدول جا خوردیم. ستون پنجره متن را جی پی تی ۵.۶ سول با ۱،۰۵۰،۰۰۰ توکن می برد و کیمی کی۳ مکس ۱،۰۴۸،۵۷۶ توکن دارد. اختلاف ۱۴۲۴ توکن است، حدود یک دهم درصد، و در عمل هیچ فرقی نمی کند. هر دو در آن ستون عملا تمام وزن را می گیرند و این درست است؛ ولی اگر روزی یک مدل با پنجره دو میلیونی اضافه شود، هر دوی اینها همین ستون را با هم می بازند بی آنکه چیزی درباره خودشان عوض شده باشد.