بهترین هوش مصنوعی برای ترجمه فارسی

مدلی که فارسی را می شناسد، و مدلی که می شود اجرا کرد، یکی نیستند

کوهر مدلی دارد به اسم Command A Translate و در مستنداتش صریحا آن را «مدل ترجمه ماشینی» خودش معرفی کرده. همانجا ۲۳ زبانش را دانه دانه نوشته: انگلیسی، فرانسوی، اسپانیایی، ایتالیایی، آلمانی، پرتغالی، ژاپنی، کره ای، چینی، عربی، روسی، لهستانی، ترکی، ویتنامی، هلندی، چکی، اندونزیایی، اوکراینی، رومانیایی، یونانی، هندی، عبری و فارسی.

هر چهار زبانی که این سایت با آنها منتشر می شود در همان یک فهرست ۲۳ تایی هستند. برای کسی که سایت چهارزبانه دارد، این دقیق ترین جمله ای است که در این مرجع درباره ترجمه پیدا می شود.

حالا طرف دیگر. متا لاما ۴ را با وزن باز می دهد و پروانه اش اجازه استفاده تجاری هم می دهد، یعنی مدلی که می شود گرفت و روی سخت افزار خودتان اجرا کرد و خروجی اش را فروخت. فهرست زبانش دوازده تاست: عربی، انگلیسی، فرانسوی، آلمانی، هندی، اندونزیایی، ایتالیایی، پرتغالی، اسپانیایی، تاگالوگ، تایلندی و ویتنامی. فارسی نیست. ترکی هم نیست. و متا فهرست را با «از جمله» باز نگذاشته، یعنی این یک فهرست بسته است.

پس محور این دسته کیفیت نیست. این است: مدل زبان شما را با اسم نوشته یا نه، و آیا اصلا می توانید به آن برسید.

وارونگی پنجره متن، که هر پروژه ترجمه سایت به آن می خورد

Command A Translate پنجره هشت هزار توکنی دارد. این کوتاه ترین پنجره کل این کاتالوگ است، کوتاه تر از هر مدل دیگری که اینجا ثبت شده. لاما ۴ اسکات پنجره ده میلیون توکنی دارد، بلندترین.

یعنی مدلی که فارسی را می شناسد اندازه چند صفحه جا دارد، و مدلی که فارسی را نام نبرده یک کتاب را یکجا می خواند. این تصادف نیست: مدل ترجمه اختصاصی برای جمله و پاراگراف ساخته شده و نه برای سند.

نتیجه عملی اش این است و کسی جایی ننوشته: یک سایت را با مدل ترجمه اختصاصی صفحه به صفحه ترجمه می کنید و نه یکجا. اگر می خواهید کل یک سند بلند در یک فراخوانی برود، دارید مدلی را انتخاب می کنید که برای ترجمه ساخته نشده، و آن انتخاب باید آگاهانه باشد.

چرا باز بودن پروانه اینجا ۳۰ وزن دارد

در دسته های دیگر این مرجع، وزن باز بودن یک امتیاز جانبی است. اینجا نیست.

دلیلش ساده است: برای خواننده ایرانی، همان حلقه ای از زنجیره که کار نمی کند API میزبانی شده است. قرارداد تجاری کوهر ایران را با اسم در تعریف Restricted Location نوشته. پس مدلی که وزنش منتشر شده و پروانه اش اجازه استفاده تجاری می دهد، اینجا واقعا یک ابزار است و بقیه یک مقاله درباره ابزار.

و همین معیار یک تفاوت را نشان می دهد که یک بولی «وزن باز دارد یا نه» پنهانش می کند. آیا اکسپنس وزنش باز است ولی پروانه اش CC BY-NC است، یعنی اگر ترجمه سایت مشتری را با آن انجام بدهید و پول بگیرید، پروانه را نقض کرده اید. لاما ۴ اجازه تجاری می دهد ولی زیر پروانه اختصاصی متا با سقف ۷۰۰ میلیون کاربر ماهانه و الزام درج Built with Llama. میسترال لارج ۳ آپاچی ۲ است، آزادترین پروانه این جدول، و فارسی را نام نبرده.

چهار معیاری که عمدا در جدول نیستند

نمره کیفیت ترجمه. کوهر می نویسد Command A Translate «مدل ترجمه ماشینی پیشرفته» اوست و هیچ عددی چاپ نمی کند. بقیه هم نمی کنند. ستونی که برای هیچ نامزدی عدد ندارد ستون نیست.

قیمت. از هفت نامزد این جدول، دو تا قیمت دارند. کوهر برای مدل های نسل جدیدش هیچ نرخی چاپ نمی کند، میسترال اصلا نرخ مدل نمی دهد، و متا وزن را می دهد و قیمتی در کار نیست. یک ستون با دو سلول پر، پنج نامزد دیگر را بی دلیل پایین می کشد.

جهت ترجمه. کیفیت ترجمه متقارن نیست: فارسی به انگلیسی با انگلیسی به فارسی یک کار نیست و هر مترجمی این را می داند. هیچ سازنده ای در این مرجع چیزی جدا برای هر جهت منتشر نمی کند، پس این صفحه هم درباره اش حرفی نمی زند. فهرست زبان یک مجموعه است و نه یک جفت.

و پنجره متن، که این یکی را امتحان کردیم و برداشتیم. دلیلش را می نویسیم چون خودش یک درس است. موتور رتبه بندی هر ستون عددی را بین کمترین و بیشترین نامزد نرمال می کند. اینجا کمترین پنجره هشت هزار توکن است و بیشترین ده میلیون، سه مرتبه بزرگی فاصله. نتیجه اش این شد که ۲۵۶ هزار توکن از ۱۵ نمره ۰.۴ گرفت و ۱۲۸ هزار توکن ۰.۲، در حالی که فاصله هشت هزار تا ۲۵۶ هزار در عمل سی و دو برابر است و همان چیزی است که شکل یک پروژه واقعی را تعیین می کند. ستونی که یک تفاوت سی و دو برابری را «۰.۴ در برابر ۰.۲» نشان می دهد، آن تفاوت را نمی سنجد. پس عدد از جدول بیرون آمد و حرفش بالاتر در متن ماند.

دو ردیفی که اصلا رتبه نگرفتند

زیر جدول دو نامزد نشسته اند که موتور رتبه بندی نتوانست رتبه شان بدهد، و هر دو به یک دلیل: سازنده شان برای همان مدل فهرست زبان منتشر نکرده.

یکیشان Command A+ است، پرچمدار خود کوهر. مستندات کوهر می نویسد این مدل «توانایی ترجمه در سطح جهانی» دارد و برای همین مدل هیچ فهرست زبانی و هیچ عدد قطعی نمی دهد. پس ادعای ترجمه هست و چیزی که بشود به آن استناد کرد نیست.

دیگری میسترال لارج ۳ است، که آزادترین پروانه کل این جدول را دارد: آپاچی ۲، وزن باز، اجازه استفاده تجاری کامل. دقیقا همان چیزی که این دسته بیشترین وزن دوم را به آن داده. ولی میسترال برای لارج ۳ نه فهرست زبان می دهد و نه فهرست کشور، و فهرستی هم که می دهد صریحا کامل نیست. مدلی که از نظر پروانه بهترین گزینه این جدول بود، به خاطر نبود همان دو فهرست از جدول بیرون ماند.

این را پنهان نمی کنیم چون همین است که جدول را قابل اعتماد می کند: نامزدی که شاهد ندارد رتبه نمی گیرد، حتی وقتی حدس ما این باشد که خوب است.

چیزی که این جدول نمی سنجد و باید گفت

هر سلول فارسی این صفحه می گوید سازنده زبان را در فهرستش نوشته است. هیچ کس خروجی را نخوانده و نسنجیده.

این همان محدودیتی است که دسته صداگذاری هم دارد و مرز صادقانه کل این روش است. ما فهرست های منتشرشده را می خوانیم و به آنها استناد می کنیم؛ سنجیدن اینکه ترجمه فارسی این مدل ها چقدر طبیعی است کار دیگری است و ادعایش را نمی کنیم.