کنترل کیفیت ترجمه؛ چه چیزی شمردنی است و چه چیزی خواندنی
کنترل کیفیت ترجمه یعنی جدا کردن دو پرسشی که همیشه با هم پرسیده می شوند: آیا این متن همان را می گوید که مبدا می گفت، و آیا این متن به زبان مقصد متن خوبی است. هر کدام ابزار خودش را دارد و پرسیدن همزمانشان همان کاری است که خطاها از لای آن رد می شوند.
- درس ۶ از ۶
- میانی
- رایگان، بدون ثبت نام
کارهایی که چیزی پیدا می کنند و کارهایی که فقط حس کنترل می دهند
چیزی پیدا می کند
- پاس دوزبانه فقط روی عدد و اسم و نفی
- شمردن صورت های مختلف یک اصطلاح در کل سند
- خواندن متن مقصد بدون متن مبدا
- بازترجمه، فقط روی جمله های پرخطر
- خواننده دوم، برای متنی که چاپ یا امضا می شود
فقط حس کنترل می دهد
- یک بار دیگر خواندن کار خودتان، بلافاصله
- غلط یاب املایی به عنوان تنها دروازه
- پرسیدن از همان مدلی که متن را ترجمه کرده
- نمره کیفیتی که یک مدل به کار خودش می دهد
- بازترجمه کل سند به جای هر بررسی دیگر
ستون دوم کارهای بی فایده نیستند؛ کارهایی اند که به تنهایی دروازه کیفیت به حساب می آیند و نیستند. غلط یاب املایی لازم است و کافی نیست.
آخرین بررسی: فکت ها و نام ابزارهای این درس در همین تاریخ با منابعشان بازبینی شده اند.
کیفیت ترجمه یعنی چه، و چه کسی تعیینش می کند
کیفیت ترجمه صفت متن نیست، نسبت متن است با کاری که قرار است بکند. یک راهنمای داخلی که فقط باید فهمیده شود و یک بند قرارداد که قرار است امضا شود، دو استاندارد متفاوت دارند و سنجیدن هر دو با یک خط کش، یا وقت تلف کردن است یا خطر کردن.
اما زیر آن نسبت، طبقه بندی خطا واقعا وجود دارد و ساخته شده. گونه شناسی MQM، که هسته اش عمومی و قابل مطالعه است، خطاها را در چند بعد جدا می کند: اصطلاح، دقت، قواعد زبانی، سبک، قراردادهای محلی، تناسب با مخاطب، و طراحی و نشانه گذاری. ارزش این فهرست برای یک مترجم آزادکار در نام گذاری نیست، در یک تفکیک عملی است: بخشی از این خطاها را فقط با متن مبدا کنار دست می شود دید، و بخش دیگر را فقط بدون متن مبدا.
حذف یک جمله، وارونه شدن نفی، عوض شدن یک عدد، ترجمه شدن چیزی که نباید ترجمه می شد: اینها را جز با مقایسه نمی توان دید. در مقابل، دستور زبان، نقطه گذاری، ثبت زبانی، و آن جمله ای که درست است ولی هیچ فارسی زبانی این طور نمی نویسد: اینها را کسی می بیند که متن مبدا را ندیده باشد. خواننده ای که هر دو را جلویش گذاشته اید، جمله ناهموار مقصد را می بخشد چون می داند منظور چه بوده.
یک نکته درباره استانداردها هم بگوییم، چون بیشترین بدفهمی سر همین یک چیز است. ISO 17100 با عنوان «خدمات ترجمه؛ الزامات خدمات ترجمه» الزامات فرایندها و منابع لازم برای تحویل یک خدمت ترجمه با کیفیت را تعریف می کند، و دامنه اش صریحا استفاده از خروجی خام ترجمه ماشینی به همراه پس ویرایش را بیرون می گذارد؛ آن کار استاندارد خودش را دارد که در درس گردش کار ترجمه آمده. پس اولین تصمیم کیفیت، پیش از هر بازبینی، این است که بدانید کار شما زیر کدام یک تعریف می شود.

دو پاس که هر کدام نیمی از خطاها را می بینند
تفاوتشان در سخت گیری نیست، در چیزی است که جلوی چشمشان گذاشته می شود.
پاس تک زبانه
- فقط متن مقصد، بدون مبدا
- روانی، ثبت زبانی، یکدستی
- در گفتگوی تازه، ترجیحا با مدل دیگر
- حق ندارد بگوید معنا درست است یا نه
پاس دوزبانه
- مبدا و مقصد کنار هم
- حذف، اضافه، نفی، عدد، اسم
- درباره سبک حق اظهار نظر ندارد
- خروجی: فهرست نامزد با شاهد از مبدا
ترتیبشان هم مهم است: پاس دوزبانه اول، چون تعمیر یک حذف ممکن است جمله را عوض کند و پاس روانی باید روی متن نهایی اجرا شود.
بازترجمه واقعا چه چیزی را می گیرد
بازترجمه یعنی متن مقصد را به کسی می دهید که مبدا را ندیده و از او می خواهید به زبان مبدا برگرداند، بعد دو متن مبدا را کنار هم می گذارید. جایی که این کار جدی گرفته می شود پژوهش بالینی و پرسشنامه های استاندارد است، و دلیلش هم روشن است: آنجا یک کلمه جابه جا، داده را خراب می کند.
چیزی که می گیرد مشخص است و کم نیست: نفی وارونه، عدد اشتباه، جمله جا افتاده، و مفهومی که در مقصد کمی جابه جا شده. اینها همان دسته ای اند که بدون مقایسه دیده نمی شوند و در بازترجمه خودشان را نشان می دهند، چون متن برگشته دیگر آن چیزی نیست که مبدا می گفت.
و چیزی که نمی گیرد را کمتر می گویند. بازترجمه درباره سبک هیچ چیز نمی گوید: یک متن مقصد خشک و بی روح، بازترجمه اش می تواند کاملا شبیه مبدا در بیاید. بدتر، یک حالت هست که خودش خطا می سازد: بازمترجم هم آدم است و وقتی جمله ای در مقصد ناهموار یا مبهم است، ناخودآگاه تعمیرش می کند و همان تعمیرشده را برمی گرداند. نتیجه، متن سالمی است که مشکل واقعی را پنهان کرده. برای همین بازترجمه یک ابزار مقایسه است، نه یک گواهی سلامت.
موضع ما: بازترجمه را روی جمله های پرخطر ببرید نه روی کل سند. دوز دارو، مبلغ، تاریخ، تعهد قراردادی، هشدار ایمنی. ده جمله ای که اگر غلط باشند پیامد دارند، به بازترجمه می ارزند؛ سیصد جمله ای که فقط باید فهمیده شوند، نه.
یکدستی؛ تنها چیزی که واقعا می شود شمرد
بیشتر چیزهایی که در کیفیت ترجمه مهم اند قضاوت می خواهند و شمردنی نیستند. یکدستی استثناست: می شود شمردش، و چون می شود شمردش باید شمرده شود، نه حدس زده. اینکه یک مفهوم در صفحه سه یک اسم داشته باشد و در صفحه نوزده اسم دیگری، خطایی است که هیچ خواننده ای گزارشش نمی کند و هر خواننده ای حسش می کند.
ما همین را روی متن خودمان اجرا کردیم و نتیجه اش درسی داد که از خود عدد مهم تر بود. سنجه ای نوشتیم که شمار جمله های هر بند فارسی را با بند انگلیسی متناظرش مقایسه کند؛ اختلاف شمار جمله معمولا یعنی مترجم دو جمله را یکی کرده یا یکی را دو تا کرده، و همان جا باید نگاه کرد. روی ۲٬۸۲۷ بند بلند این بخش، ۹۱.۷ درصد بندها شمار جمله یکسان داشتند و ۹۳ بند اختلافشان دو جمله یا بیشتر بود، با بزرگ ترین اختلاف ۲۸ جمله در برابر ۱۵.
آن عدد ۲۸ آنقدر بزرگ بود که باورکردنی نبود، و نبود. سنجه ما نقطه پایان جمله را می شمرد و برای اینکه اعشار را با نقطه پایان اشتباه نگیرد، رقم قبل و بعد از نقطه را بررسی می کرد؛ اما فقط رقم های لاتین را رقم می شناخت. در متن فارسی که عددهایش با رقم فارسی نوشته می شود، هر عدد اعشاری یک جمله جعلی می ساخت. بعد از اینکه رقم های فارسی و عربی هم به تعریف رقم اضافه شدند، همان اندازه گیری شد ۹۵.۵ درصد یکسان، و بندهای با اختلاف دو جمله یا بیشتر از ۹۳ رسیدند به ۹. یعنی ۸۴ تا از ۹۳ یافته، خطای خود ابزار بود.
درس عملی اش این است: پیش از اینکه به گزارش یک سنجه اعتماد کنید، یک بار خودش را امتحان کنید؛ و بزرگ ترین اختلاف های فهرست را با چشم نگاه کنید، چون خطای ابزار معمولا آنجا خودش را لو می دهد نه در وسط توزیع. و مرز اصلی: حتی سنجه درست هم فهرست نامزد می دهد نه فهرست خطا. ۱۲۸ بندی که در سنجه اصلاح شده باقی ماندند، اغلبشان تصمیم درست یک نویسنده اند که یک جمله بلند فارسی را در انگلیسی دو تا کرده. یکدستی اصطلاح در سطح واژه هم همین منطق را دارد و در درس ترجمه تخصصی با شمارش روی همین مجموعه اندازه گیری شده.
یک سنجه مکانیکی روی ۱۵۲ فایل، پیش و پس از رفع ایراد خودش
- ۲٬۸۲۷ بند مقایسه شده
- ۹۳ اختلاف دو جمله یا بیشتر، با شمارنده معیوب
- ۹ همان اختلاف، پس از رفع ایراد
همان داده، همان روز، دو نتیجه. تفاوت فقط این بود که شمارنده رقم فارسی را رقم به حساب نمی آورد و اعشار را پایان جمله می خواند.
قانون خواننده دوم، و وقتی خواننده دومی نیست
خودتان نمی توانید ترجمه خودتان را بازبینی کنید، و دلیلش کم دقتی نیست. شما هنگام خواندن، قصدتان را می خوانید نه آنچه روی کاغذ است؛ جمله ای که در ذهنتان کامل بوده، در متن ناقص مانده و چشم شما همان نسخه ذهنی را جایگزین می کند. این خطا با دقت بیشتر برطرف نمی شود، چون خودش محصول آشنایی است.
پس بازبین باید آدم دیگری باشد، و آن آدم به سه چیز نیاز دارد که معمولا به او نمی دهند: متن مبدا، توضیح کار (این متن برای چه کسی و برای چه هدفی نوشته شده)، و واژه نامه با فهرست چیزهایی که ترجمه نمی شوند. بازبینی بدون این سه، تبدیل می شود به سلیقه دو نفر که روی جمله ها با هم بحث می کنند.
و یک چیز که به بازبین باید صریح گفته شود: اجازه دارد بگوید این خوب است، دست نزنید. بازبینی که احساس می کند باید چیزی پیدا کند، پیدا می کند، و آنچه پیدا می کند معمولا سبک شخصی خودش است. تغییر بی دلیل هم هزینه دارد: هر دست بردن در متنی که درست بوده، یک شانس تازه برای خراب کردن است.
اگر تنها کار می کنید و خواننده دومی در کار نیست، دو جایگزین واقعی دارید. اول فاصله: متن را بگذارید و فردا بخوانید؛ آشنایی با متن در طول شب کم می شود و این تنها راهی است که ما می شناسیم برای اینکه چشم دوباره متن را ببیند. دوم عوض کردن رسانه: متن را چاپ کنید، یا در فونت و اندازه دیگری بخوانید، یا بلند بخوانید. جمله ای که با صدای بلند گیر می کند، همان جمله ای است که خواننده هم رویش گیر می کند. یک تکنیک سوم هم هست که برای غلط املایی و اعداد جواب می دهد: متن را از آخر به اول بخوانید، بند به بند، چون روایت داستان دیگر جلوی چشمتان را نمی گیرد.
کی ارزش دارد برای یک متن دو بار پول بدهید
بازبینی دوم هزینه دارد و همیشه به آن نمی ارزد. حسابش هم آن چیزی نیست که معمولا می کنند. هزینه یک ترجمه بد، هزینه درست کردنش نیست؛ هزینه کاری است که آن متن تا لحظه ای که کسی خطا را ببیند انجام داده. یک بروشور چاپ شده را نمی شود ویرایش کرد، یک قرارداد امضاشده را نمی شود پس گرفت، و یک صفحه محصول که سه ماه فروش نداشته، سه ماهش برنمی گردد.
پس معیار، اهمیت متن نیست، برگشت پذیری آن است. چهار جا بازبینی دوم را ما همیشه توصیه می کنیم: هر چیزی که چاپ می شود، هر چیزی که امضا می شود، هر چیزی که عمومی منتشر می شود و اسم کسی زیرش است، و هر متنی که کسی بر اساسش کاری با بدنش یا پولش می کند.
و جاهایی که یک پاس کافی است و اصرار بر بیشتر، اسراف است: مکاتبه داخلی، متنی که فقط باید فهمیده شود، پیش نویسی که قرار است باز هم عوض شود، و ترجمه ای که برای تصمیم گرفتن درباره خود متن انجام می شود. صادقانه ترین چیزی که می شود به مشتری گفت این است که برای این متن بازبینی دوم لازم نیست، و همین یک جمله بیشتر از هر تخفیفی اعتماد می سازد.
مسیر سریع با هوش مصنوعی
کاری که بیشتر مردم با مدل زبانی می کنند این است که متن مبدا و ترجمه را با هم می دهند و می پرسند کیفیتش چطور است. جواب همیشه یک پاراگراف مودبانه است که چند نکته سبکی دارد و هیچ خطای واقعی ای در آن نیست. علتش هم ساده است: مدلی که مبدا را جلویش دارد، جمله ناهموار مقصد را می بخشد چون می فهمد منظور چه بوده، دقیقا مثل خود شما. راه حل، دو پاس جداست که عمدا به هر کدام فقط نیمی از اطلاعات داده می شود.
- متن را قطعه قطعه کنید و شماره بگذارید. هر بند یا هر جمله یک شماره بگیرد؛ بدون شماره، خروجی مدل به یک متن روایی تبدیل می شود که نمی توانید ردیف به ردیف بررسی اش کنید.
- پاس اول را با هر دو متن اجرا کنید، ولی دامنه اش را تنگ ببندید: فقط دقت. هر بار که اجازه بدهید درباره سبک هم حرف بزند، فهرست پر می شود از سلیقه و خطای واقعی زیرش گم می شود.
- پاس دوم را در گفتگوی تازه اجرا کنید و متن مبدا را اصلا وارد نکنید. اگر می توانید مدل دیگری بردارید، چون مدلی که خودش ترجمه یا اصلاح کرده، کار خودش را روان تر از آنچه هست می بیند.
- دو فهرست را کنار هم بگذارید و خودتان تصمیم بگیرید. ردیف هایی که در هر دو فهرست آمده اند اول بررسی شوند؛ معمولا همان جاست که یک ابهام واقعی در مبدا وجود داشته و مترجم روی آن لغزیده.
نسخه آماده کپی
پاس ۱، دوزبانه. هر دو متن را بده.
نقش: بازبین دقت. متن مبدا و متن مقصد شماره گذاری شده در پایین آمده.
فقط این دسته ها را گزارش کن: حذف، اضافه، وارونه شدن نفی، عدد یا تاریخ یا مقدار متفاوت، اسم خاص متفاوت، و هر چیزی که در فهرست «ترجمه نشود» بوده و ترجمه شده است.
درباره سبک، روانی، لحن و انتخاب واژه هیچ نگو. حتی اگر جمله بد است، اگر معنایش درست است گزارش نکن.
خروجی، فقط جدول: شماره | دسته | عبارت مبدا | عبارت مقصد | چرا
اگر در قطعه ای چیزی نیافتی، آن را در جدول نیاور.
پاس ۲، تک زبانه. گفتگوی تازه. فقط متن مقصد را بده.
نقش: خواننده بومی {زبان مقصد}. این متن را نخستین بار می بینی و هیچ متن دیگری در کار نیست.
فقط این دسته ها را گزارش کن: جمله ای که بومی این طور نمی گوید، ثبت زبانی ناهماهنگ با بقیه متن، اصطلاحی که در دو جای متن دو صورت دارد، و جمله ای که باید دو بار خوانده شود تا فهمیده شود.
هیچ حدسی درباره اینکه این متن ترجمه است یا نه نزن و هیچ نظری درباره درستی معنا نده.
خروجی، فقط جدول: شماره | دسته | عبارت | صورت پیشنهادیقبل از اعتماد به خروجی: هیچ کدام از دو پاس درستی را اثبات نمی کند؛ هر دو فهرست نامزد می سازند و تصمیم با بازبین است. پاس دوم هم دقیقا همان جایی خطا می کند که متن اصلا ترجمه خوبی باشد ولی لحنش با انتظار مدل نخواند، پس هر پیشنهادش را نپذیرید. و یک قید عملی: متن مشتری را پیش از چسباندن در هر سرویسی، مثل هر جای دیگر این مسیر، اول از نظر محرمانگی بسنجید؛ فرستادن متن برای «بررسی» همان افشاست که فرستادنش برای ترجمه.
هوش مصنوعی در این کار
در کنترل کیفیت، مدل زبانی یک کار را از همه بهتر انجام می دهد: خسته نمی شود. مقایسه دویست ردیف پشت سر هم دقیقا همان کاری است که آدم در ردیف صدم از دستش می دهد. اما یک قاعده هست که همه چیز به آن بند است: کسی که کار را انجام داده، بازبین آن کار نیست. این قاعده درباره مترجم انسانی هم صادق است و درباره مدل هم؛ هر ابزاری که پایین آمده، با فرض همین جدایی معرفی شده.
ابزارهایی که واقعا کمک می کنند
- Gemini برای پاس دوزبانه روی سند بلند، چون رده Flash اش ارزان است و این پاس مکانیکی است نه قضاوتی. صفحه خود گوگل می گوید این اپ در بیش از دویست و سی کشور و منطقه در دسترس است و ایران در آن فهرست نیست.
- Claude برای پاس تک زبانه، که قضاوت است نه مقایسه: کدام جمله را یک بومی این طور نمی گوید. صفحه حریم خصوصی خودش می گوید گفتگوها به صورت پیش فرض برای آموزش مدل استفاده نمی شوند، که وقتی متن مشتری را برای بازبینی می فرستید معیار مهمی است.
- Mistral Large 3 وقتی متن اصلا نباید از ساختمان بیرون برود. پروانه اش آپاچی ۲ با وزن باز و اجازه تجاری کامل است، یعنی می شود روی سخت افزار خودتان اجرایش کرد و پرسش محرمانگی کلا منتفی می شود. در عوض میسترال برای همین مدل فهرست زبان کاملی منتشر نکرده.
کجا نتیجه معکوس می دهد
خطر خاص این موضوع، نمره است. اگر از یک مدل بپرسید این ترجمه چند از صد است، عدد می گیرید؛ آن عدد پشتش هیچ مقیاسی نیست، دو بار پرسیدن دو جواب می دهد، و بدتر از همه اینکه در گزارش به مشتری شبیه اندازه گیری به نظر می رسد. گونه شناسی هایی مثل MQM دقیقا برای همین ساخته شده اند که کیفیت به جای یک عدد، به دسته های خطای قابل نشان دادن تجزیه شود. موضع ما ساده است: از مدل فهرست بخواهید، نه نمره؛ و در هیچ گزارشی عددی ننویسید که نمی توانید بگویید از کجا آمده. خطر دوم، بازبینی مدل روی کار خودش است: در همان گفتگو، مدل چیزی را که خودش نوشته سالم تر می بیند، و همین است که پاس دوم را در گفتگوی تازه لازم می کند. و خطر سوم همان محرمانگی همیشگی است؛ سیاست ها یکی نیستند: صفحه حریم خصوصی گوگل برای اپ های Gemini می گوید بازبین های انسانی بخشی از داده ها را می بینند و گفتگوهای بازبینی شده تا سه سال نگه داشته می شوند، در حالی که صفحه داده Claude می گوید گفتگوها به صورت پیش فرض برای آموزش استفاده نمی شوند.
منبع ها: MQM Core typology: error dimensions and definitions Google: Gemini Apps Privacy Hub (human reviewers, retention) Google: where Gemini Apps are available Anthropic: is my data used for model training
حد این توصیه
اندازه گیری این درس روی متن خودمان است و مرزهایش را باید صریح گفت: این متن ها ترجمه نشده اند بلکه در چهار زبان جدا نوشته شده اند، پس آنچه شمرده شده تصمیم نویسنده است نه رفتار مترجم، و روی یک ترجمه واقعی که مجبور است ساختار مبدا را دنبال کند اختلاف ها شکل دیگری دارد. هیچ نرخ خطایی هم اینجا اعلام نشده و نمی شود، چون سنجه ما نامزد پیدا می کند نه خطا. درباره متن خود استاندارد ISO 17100 هیچ ادعایی نکرده ایم جز عنوان و دامنه ای که در مدخل کاتالوگ چاپ شده؛ نسخه استاندارد را نخوانده ایم. و دو چیز عمدا بیرون این درس مانده: ویرایش متن تک زبانه که کار خودش است و در درس ویرایش و نمونه خوانی آمده، و ترجمه رسمی و مهر مترجم که یک مجوز حقوقی است و نه یک نظام کیفیت؛ هیچ بازبینی ای جای آن را نمی گیرد.
از تجربه خود ما
یک سنجه یکدستی نوشتیم و اولین چیزی که پیدا کرد، ایراد خود سنجه بود. کار ساده ای می کرد: شمار جمله های هر بند فارسی را با بند انگلیسی متناظرش مقایسه می کرد، روی ۲٬۸۲۷ بند بلند از ۱۵۲ فایل درس این بخش. گزارش اول می گفت ۹۱.۷ درصد بندها یکسانند و ۹۳ بند اختلاف دو جمله یا بیشتر دارند. بزرگ ترین ردیف فهرست، ۲۸ جمله فارسی در برابر ۱۵ جمله انگلیسی بود، و همان یک ردیف باعث شد به کل جدول شک کنیم. علتش این بود که شمارنده برای اینکه اعشار را با نقطه پایان جمله اشتباه نگیرد رقم های اطراف نقطه را می دید، ولی فقط رقم لاتین را رقم می شناخت؛ در متن فارسی هر عدد اعشاری یک جمله جعلی می ساخت و بندهایی که عدد بیشتری داشتند بیشترین اختلاف را نشان می دادند. با اضافه شدن رقم فارسی و عربی به تعریف رقم، همان اندازه گیری شد ۹۵.۵ درصد و ردیف های اختلاف دو یا بیشتر از ۹۳ به ۹ رسید. برای عربی ۹۷.۶ درصد و برای ترکی ۹۴.۴ درصد. یعنی ۸۴ یافته از ۹۳ یافته اول، اصلا در متن وجود نداشتند. این همان دلیلی است که ما پیش از اعتماد به هر ابزار غلط یابی، اول خود ابزار را با یک ورودی خراب امتحان می کنیم، و همان چیزی است که یک گزارش کیفیت را از یک عدد قابل چاپ جدا می کند.
سوال هایی که واقعا پرسیده می شوند
بازترجمه برای هر پروژه ای لازم است؟
نه، و اجرای روتینش بیشتر بودجه می خورد تا خطا پیدا کند. جایش متن هایی است که یک کلمه غلط در آنها پیامد دارد: دوز دارو، مبلغ، تعهد قراردادی، هشدار ایمنی. برای بقیه، پاس دوزبانه روی عدد و اسم و نفی همان کار را ارزان تر انجام می دهد.
اگر خواننده دومی نداریم چه کار کنیم؟
فاصله بخرید و رسانه را عوض کنید: متن را فردا بخوانید، چاپ شده یا با فونت دیگر، و یک بار بلند. اینها آشنایی شما با متن را کم می کنند و همان چیزی است که چشم را دوباره باز می کند. برای عدد و املا هم خواندن از آخر به اول جواب می دهد، چون روایت دیگر چشم را جلو نمی برد.
می شود از هوش مصنوعی نمره کیفیت ترجمه گرفت؟
عدد می گیرید، ولی آن عدد اندازه گیری نیست: پشتش مقیاسی نیست و دو بار پرسیدن دو جواب می دهد. به جایش فهرست بخواهید، دسته بندی شده و با شاهد، که بشود ردیف به ردیف قبول یا ردش کرد. عددی که نمی توانید بگویید از کجا آمده، در گزارش مشتری جایی ندارد.