بهترین هوش مصنوعی برای کدنویسی

چرا اپوس ۵ اول است

دو چیز با هم. اول اینکه در WebDev Arena، که کارهای واقعی توسعه وب را با ابزار و چند مرحله می سنجد، ردیف claude-opus-5-max با ۱۶۹۲ امتیاز رتبه یک است و بعدش کیمی کی۳ مکس با ۱۶۷۴ و قوان ۳.۸ مکس با ۱۶۷۰ می آیند. دوم اینکه ۲۵ دلار خروجی می گیرد، یعنی نصف فیبل ۵ که خودش با ۱۶۲۸ پایین تر است. مدلی که هم بالاتر باشد و هم ارزان تر، در هر وزندهی معقولی اول درمی آید.

جایی که این جدول کم می آورد

معیار اصلی ما یک لیدربورد ترجیح انسانی است و نه یک آزمون خودکار. WebDev Arena عدد مطلق و تاریخ و تعداد رای می دهد، که برای چاپ کردن لازم است، ولی ترجیح انسانی به خوانایی و شکل جواب هم حساس است و نه فقط به درست بودن کد. SWE-bench Verified معیار دقیقتری بود، ولی لیدربوردش با جاوااسکریپت رندر می شود و ما عددش را مستقیم نخوانده ایم. عددی که نخوانده باشیم چاپ نمی کنیم، حتی اگر جای دیگری نقلش کرده باشند.

دو مدل هم در همین صفحه رتبه نگرفته اند: جیالام ۵.۲ مکس و دیپ سیک وی۴ فلش. هر دو در لیدربورد توسعه وب امتیاز واقعی دارند، ولی قیمت و پنجره متنشان را از منبع خودشان تایید نکرده ایم، پس بیش از نیم وزن معیارها برایشان خالی است. زیر جدول اسمشان هست و رتبه شان نیست.

نکته ای که فقط در کار روزمره معلوم می شود

اختلاف امتیاز بین مدل اول و چهارم این جدول حدود بیست و شش امتیاز است، که در عمل خیلی کمتر از آن حس می شود که عدد نشان می دهد. چیزی که واقعا در یک روز کاری فرق می گذارد، بلوغ ابزار است: اینکه مدل ابزار خط فرمان دارد، اجرای دسته ای دارد، و روی ابری هست که شرکت شما از قبل قرارداد دارد. برای همین این معیار پانزده وزن گرفته و نه پنج.