Çeviri kalite kontrolü: ne sayılabilir, ne okunmak zorundadır
Çeviri kalite kontrolü, hep birlikte sorulan iki soruyu ayırmak demektir: bu metin kaynağın söylediğini söylüyor mu ve bu metin hedef dilde iyi bir metin mi. Her birinin kendi aracı vardır ve ikisini aynı anda sormak, hataların tam olarak oradan geçmesi demektir.
- Ders 6 / 6
- Orta
- Ücretsiz, kayıt yok
Bir şey bulan denetimler ve yalnızca denetim hissi veren denetimler
Bir şey bulur
- Yalnızca sayılar, adlar ve olumsuzluk üzerinde iki dilli bir geçiş
- Bir terimin farklı biçimlerini belge boyunca saymak
- Hedef metni kaynak olmadan okumak
- Geri çeviri, yalnızca riski yüksek cümlelerde
- Basılan ya da imzalanan bir metin için ikinci okur
Yalnızca denetim hissi verir
- Kendi işinizi hemen bir kez daha okumak
- Tek kapı olarak yazım denetleyicisi
- Çeviriyi üreten modelin kendisine sormak
- Bir modelin kendi işine verdiği kalite puanı
- Diğer bütün denetimler yerine belgenin tamamını geri çevirmek
İkinci sütun işe yaramaz işlerin listesi değildir; tek başına kalite kapısı sayılan ama öyle olmayan işlerdir. Yazım denetleyicisi gereklidir ama yeterli değildir.
Son kontrol: Bu dersteki bilgiler ve araç adları bu tarihte kaynaklarıyla yeniden doğrulanır.
Çeviri kalitesi ne demektir ve kim belirler
Çeviri kalitesi metnin bir özelliği değil, metin ile yapması gereken iş arasındaki ilişkidir. Yalnızca anlaşılması gereken bir iç kılavuz ile imzalanacak bir sözleşme maddesi iki ayrı ölçüt taşır; ikisini tek cetvelle ölçmek ya zaman kaybıdır ya da göze alınmış bir risktir.
Yine de o ilişkinin altında hata sınıflandırmaları gerçekten vardır ve kurulmuştur. Çekirdeği herkese açık ve okunabilir olan MQM sınıflandırması hataları birkaç boyuta ayırır: terminoloji, doğruluk, dilsel kurallar, biçem, yerel gelenekler, kitleye uygunluk ve tasarım ile işaretleme. Bu listenin serbest çalışan bir çevirmen için değeri adlandırmada değil, tek bir pratik ayrımdadır: bu hataların bir kısmı ancak kaynak yanınızdayken görülebilir, diğer kısmı ise ancak kaynak yokken.
Düşmüş bir cümle, tersine dönmüş bir olumsuzluk, değişmiş bir sayı, çevrilmemesi gerekirken çevrilmiş bir şey: bunlar karşılaştırmadan başka bir yolla görülmez. Buna karşılık dil bilgisi, noktalama, dil düzeyi ve doğru olan ama hiçbir ana dil konuşurunun öyle yazmayacağı o cümle: bunları kaynağı görmemiş biri görür. Önüne iki metni birden koyduğunuz okur, ne demek istendiğini bildiği için hedefteki sakil cümleyi bağışlar.
Standartlar üzerine de bir söz edelim, çünkü yanlış anlamalar burada toplanıyor. "Çeviri hizmetleri: çeviri hizmetleri için gereklilikler" başlıklı ISO 17100, kaliteli bir çeviri hizmetinin sunulması için gereken süreçlerin ve kaynakların gerekliliklerini koyar ve kapsamı, ham makine çevirisi çıktısının son düzenlemeyle kullanımını açıkça dışarıda bırakır; o işin kendi standardı vardır ve çeviri iş akışı dersinde ele alındı. Yani her türlü incelemeden önceki ilk kalite kararı, işinizin hangisinin kapsamına girdiğini bilmektir.

Her biri hataların yarısını gören iki geçiş
Fark katılıkta değil, önlerine ne konduğundadır.
Tek dilli geçiş
- Yalnızca hedef metin, kaynak olmadan
- Akıcılık, dil düzeyi, tutarlılık
- Yeni bir konuşmada, tercihen başka bir modelle
- Anlamın doğru olup olmadığını söyleme hakkı yoktur
İki dilli geçiş
- Kaynak ve hedef yan yana
- Eksiltme, ekleme, olumsuzluk, sayılar, adlar
- Biçem hakkında yorum yapma izni yoktur
- Çıktı: kaynaktan kanıtla birlikte bir aday listesi
Sıra da önemlidir: iki dilli geçiş önce gelir, çünkü bir eksiği onarmak cümleyi değiştirebilir ve akıcılık geçişi nihai metin üzerinde çalışmalıdır.
Geri çeviri gerçekte neyi yakalar
Geri çeviri, hedef metni kaynağı görmemiş birine verip kaynak dile geri aktarmasını istemek, sonra iki kaynak metni yan yana koymaktır. Ciddiye alındığı yer klinik araştırma ve standart anketlerdir ve nedeni açıktır: orada yerinden oynamış tek bir kelime veriyi bozar.
Yakaladığı şey belirlidir ve az değildir: tersine dönmüş bir olumsuzluk, yanlış bir sayı, düşmüş bir cümle, hedefte biraz kaymış bir kavram. Bunlar tam olarak karşılaştırma olmadan görülemeyen sınıftır ve geri çeviri onları yüzeye çıkarır, çünkü dönen metin artık kaynağın söylediğini söylemiyordur.
Yakalamadığı şey ise daha az dile getirilir. Geri çeviri biçem hakkında hiçbir şey söylemez: kuru ve cansız bir hedef metnin geri çevirisi kaynağa tıpatıp benzeyerek dönebilir. Daha kötüsü, kendi başına bir hata ürettiği bir durum vardır. Geri çevirmen de bir insandır ve hedefteki bir cümle sakil ya da muğlaksa onu farkında olmadan onarır ve onarılmış hâlini geri verir. Sonuç, gerçek sorunu gizlemiş, sağlıklı görünen bir metindir. Geri çevirinin bir karşılaştırma aracı olup sağlık belgesi olmamasının nedeni budur.
Tutumumuz: geri çeviriyi bütün belgeye değil, riski yüksek cümlelere uygulayın. Bir doz, bir tutar, bir tarih, sözleşmeye dayalı bir taahhüt, bir güvenlik uyarısı. Yanlış olduğunda sonuç doğuran on cümle bir geri çeviriyi hak eder; yalnızca anlaşılması gereken üç yüz cümle etmez.
Tutarlılık: gerçekten sayılabilen tek şey
Çeviri kalitesinde önemli olanların çoğu yargı ister ve sayılamaz. Tutarlılık istisnadır: sayılabilir ve sayılabildiği için tahmin edilmek yerine sayılmalıdır. Bir kavramın üçüncü sayfada bir, on dokuzuncu sayfada başka bir ad taşıması, hiçbir okurun bildirmediği ve her okurun hissettiği bir hatadır.
Bunu tam olarak kendi metnimiz üzerinde çalıştırdık ve sonuç, sayının kendisinden daha yararlı bir şey öğretti. Her Farsça pasajın cümle sayısını İngilizce karşılığıyla karşılaştıran bir denetim yazdık; cümle sayısındaki fark genellikle yazarın iki cümleyi birleştirdiği ya da birini böldüğü anlamına gelir ve bakılacak yer orasıdır. Bu bölümün 2.827 uzun pasajında yüzde 91,7 eşleşti ve 93 pasaj iki ya da daha fazla cümle farkla ayrıldı; en büyük fark 28'e 15'ti.
O 28 sayısı inanılamayacak kadar büyüktü ve doğru da değildi. Denetimimiz cümle sonu işaretlerini sayıyordu ve ondalık noktayı cümle noktasıyla karıştırmamak için noktanın iki yanındaki rakamlara bakıyordu; ne var ki rakam olarak yalnızca Latin rakamlarını tanıyordu. Sayıları Fars rakamlarıyla yazılan Farsça metinde her ondalık sayı hayalî bir cümle üretiyordu. Fars ve Arap-Hint rakamları da rakam tanımına eklendiğinde aynı ölçüm yüzde 95,5 eşleşmeye çıktı ve iki ya da daha fazla cümle farkla ayrılan pasajlar 93'ten 9'a düştü. Yani 93 bulgunun 84'ü aracın kendi hatasıydı.
Pratik ders şudur: bir denetimin bildirdiğine güvenmeden önce denetimin kendisini bir kez sınayın ve listedeki en büyük farklara gözünüzle bakın, çünkü aracın hatası kendini genellikle dağılımın ortasında değil orada ele verir. Ve asıl sınır: doğru bir denetim bile hata listesi değil aday listesi üretir. Düzeltilmiş denetimden geriye kalan 128 pasajın çoğu, uzun bir Farsça cümleyi iki İngilizce cümleye çeviren bir yazarın doğru kararıdır. Terim düzeyinde tutarlılık da aynı mantığı izler ve aynı derlem üzerinde sayılarak uzmanlık çevirisi dersinde ölçüldü.
152 dosya üzerinde tek bir mekanik denetim, kendi hatası düzeltilmeden önce ve sonra
- 2.827 karşılaştırılan pasaj
- 93 hatalı sayaçla iki ya da daha fazla cümle farkı
- 9 aynı fark, düzeltmeden sonra
Aynı veri, aynı gün, iki sonuç. Tek fark, sayacın Fars rakamını rakam saymaması ve ondalık noktayı cümle sonu okumasıydı.
İkinci okur kuralı ve ikinci okur olmadığında
Kendi çevirinizi kendiniz gözden geçiremezsiniz ve bunun nedeni dikkatsizlik değildir. Okurken sayfadakini değil niyetinizi okursunuz; kafanızda tam olan cümle metinde eksik kalmıştır ve gözünüz onun yerine zihindeki sürümü koyar. Bu hata daha fazla dikkatle ortadan kalkmaz, çünkü hatanın kendisi aşinalığın ürünüdür.
Dolayısıyla gözden geçiren başka biri olmalıdır ve o kişinin, kendisine genellikle verilmeyen üç şeye ihtiyacı vardır: kaynak metin, brief (bu metin kimin için ve neyi başarmak için yazıldı) ve çevrilmeyecekler listesiyle birlikte sözlük. Bu üçü olmadan gözden geçirme, iki kişinin zevkinin cümleler üzerinde tartışmasına döner.
Ve gözden geçirene açıkça söylenmesi gereken bir şey var: bu iyi, dokunmayın deme hakkı vardır. Bir şey bulması gerektiğini hisseden biri bir şey bulur ve bulduğu şey genellikle kendi kişisel biçemidir. Sebepsiz değişikliğin de bir bedeli vardır: zaten doğru olan bir metne uzanan her el, onu bozmak için yeni bir şanstır.
Yalnız çalışıyorsanız ve ikinci bir okur yoksa iki gerçek ikameniz var. Birincisi mesafe: metni bırakın ve yarın okuyun; aşinalık bir gecede azalır ve gözün metni yeniden görmesi için bildiğimiz tek yol budur. İkincisi ortamı değiştirmek: yazdırın, ya da başka bir yazı tipi ve boyutta okuyun, ya da sesli okuyun. Sesli okurken takıldığınız cümle, okurunuzun da takıldığı cümledir. Yazım ve sayılar için işe yarayan üçüncü bir teknik daha var: metni sondan başa, pasaj pasaj okuyun; çünkü anlatı artık gözünüzü peşinden sürüklemez.
Bir metin için ne zaman iki kez ödemeye değer
İkinci bir incelemenin bedeli vardır ve her zaman buna değmez. Hesap da genellikle yapılan hesap değildir. Kötü bir çevirinin maliyeti onu düzeltmenin maliyeti değildir; o metnin, biri hatayı görene kadar yaptığı şeyin maliyetidir. Basılmış bir broşür düzenlenemez, imzalanmış bir sözleşme geri alınamaz ve üç ay boyunca hiçbir şey satmamış bir ürün sayfası o üç ayı geri getirmez.
Yani ölçüt metnin ne kadar önemli olduğu değil, ne kadar geri alınabilir olduğudur. İkinci incelemeyi her zaman önerdiğimiz dört yer var: baskıya giden her şey, imzalanan her şey, altında birinin adıyla kamuya yayımlanan her şey ve bir insanın kendi bedeni ya da parasıyla bir şey yapmasına dayanak olan her metin.
Tek bir geçişin yettiği, fazlasında ısrar etmenin israf olduğu yerler ise şunlar: iç yazışmalar, yalnızca anlaşılması gereken bir metin, nasıl olsa yine değişecek bir taslak ve metnin kendisi hakkında karar vermek için yapılan bir çeviri. Bir müşteriye söyleyebileceğiniz en dürüst şey, bu metnin ikinci bir incelemeye ihtiyacı olmadığıdır ve bu tek cümle, herhangi bir indirimden çok güven kurar.
Yapay zekayla hızlı yol
Çoğu insanın bir dil modeliyle yaptığı şey, kaynağı ve çeviriyi birlikte verip kalitesinin nasıl olduğunu sormaktır. Cevap her zaman birkaç biçemsel not içeren ve içinde gerçek hata bulunmayan kibar bir paragraftır. Nedeni basit: önünde kaynak duran bir model, ne demek istendiğini anladığı için hedefteki sakil cümleyi tıpkı sizin gibi bağışlar. Çözüm, her birine bilerek bilginin yalnızca yarısı verilen iki ayrı geçiştir.
- Metni numaralı parçalara bölün. Her paragrafa ya da her cümleye bir numara verin; numaralar olmadan modelin çıktısı, satır satır denetleyemeyeceğiniz anlatısal bir metne dönüşür.
- İlk geçişi iki metinle birlikte çalıştırın, ama kapsamını sıkıca kapatın: yalnızca doğruluk. Biçem hakkında da konuşmasına izin verdiğiniz her seferde liste zevkle dolar ve gerçek hata onun altında kaybolur.
- İkinci geçişi yeni bir konuşmada çalıştırın ve kaynağı hiç girmeyin. Yapabiliyorsanız başka bir model kullanın, çünkü metni çeviren ya da düzenleyen bir model kendi işini olduğundan akıcı görür.
- İki listeyi yan yana koyun ve kararı kendiniz verin. Önce her iki listede de görünen satırlara bakın; kaynakta gerçek bir belirsizliğin bulunduğu ve çevirmenin ona takıldığı yer genellikle orasıdır.
Kopyalamaya hazır şablon
GEÇİŞ 1, iki dilli. İki metni de verin.
Rol: doğruluk denetçisi. Numaralandırılmış kaynak metin ve hedef metin aşağıda.
Yalnızca şu kategorileri bildir: eksiltme, ekleme, tersine dönmüş olumsuzluk, farklı bir sayı ya da tarih ya da tutar, farklı bir özel ad ve çevrilmeyecekler listesinde olup çevrilmiş her şey.
Biçem, akıcılık, ton ve kelime seçimi hakkında hiçbir şey söyleme. Cümle kötü olsa bile, anlamı doğruysa bildirme.
Çıktı, yalnızca tablo: numara | kategori | kaynak ifade | hedef ifade | neden
Bir parçada bir şey bulamazsan onu tabloya alma.
GEÇİŞ 2, tek dilli. Yeni konuşma. Yalnızca hedef metni verin.
Rol: {hedef dil} ana dili konuşuru. Bu metni ilk kez görüyorsun ve başka bir metin yok.
Yalnızca şu kategorileri bildir: ana dili konuşurunun böyle kurmayacağı bir cümle, metnin geri kalanıyla uyumsuz bir dil düzeyi, iki yerde iki farklı biçimde geçen bir terim ve anlaşılmak için iki kez okunması gereken bir cümle.
Bunun çeviri olup olmadığına dair tahmin yürütme ve anlamın doğruluğu hakkında görüş bildirme.
Çıktı, yalnızca tablo: numara | kategori | ifade | önerilen biçimÇıktıya güvenmeden önce: İki geçiş de doğruluğu kanıtlamaz; ikisi de aday listesi üretir ve karar gözden geçirene aittir. İkinci geçiş, tam olarak metnin iyi bir çeviri olduğu ama tonunun modelin beklentisiyle örtüşmediği durumda yanılır; bu yüzden her önerisini kabul etmeyin. Bir de pratik kısıt: müşteri metnini herhangi bir hizmete yapıştırmadan önce gizliliği bu yolun her yerindeki gibi tartın; bir metni denetlenmek üzere göndermek, çevrilmek üzere göndermekle aynı ifşadır.
Bu işte yapay zeka
Kalite kontrolünde bir dil modeli bir şeyi herkesten iyi yapar: yorulmaz. Arka arkaya iki yüz satırı karşılaştırmak, insanın yaklaşık yüzüncü satırda kaybettiği işin ta kendisidir. Ama her şeyi ayakta tutan tek bir kural var: işi yapan, o işin denetçisi değildir. Kural insan çevirmen için de model için de geçerlidir ve aşağıdaki her araç bu ayrım varsayılarak tanıtılıyor.
Gerçekten işe yarayan araçlar
- Gemini Uzun bir belgede iki dilli geçiş için; çünkü Flash sınıfı ucuzdur ve bu geçiş yargı değil mekanik bir iştir. Google'ın kendi sayfası uygulamanın 230'dan fazla ülke ve bölgede kullanılabildiğini söylüyor ve İran o listede yok.
- Claude Karşılaştırma değil yargı olan tek dilli geçiş için: hangi cümleyi bir ana dili konuşuru böyle kurmaz. Kendi gizlilik sayfası, konuşmaların varsayılan olarak model eğitiminde kullanılmadığını söylüyor; incelemeye gönderdiğiniz metin bir müşteriye aitse bu önemlidir.
- Mistral Large 3 Metnin binadan hiç çıkmaması gerektiğinde. Lisansı açık ağırlıklarla ve tam ticari kullanımla Apache 2.0'dır; yani kendi donanımınızda çalıştırabilirsiniz ve gizlilik sorusu tümüyle ortadan kalkar. Buna karşılık Mistral bu model için eksiksiz bir dil listesi yayımlamıyor.
Nerede geri teper
Bu konuya özgü risk puandır. Bir modele bu çeviri yüz üzerinden kaç diye sorun, bir sayı alırsınız; o sayının arkasında hiçbir ölçek yoktur, iki kez sormak iki cevap verir ve hepsinden kötüsü, bir müşteriye giden rapora düştüğünde ölçüm gibi görünür. MQM gibi sınıflandırmalar tam da kalitenin tek bir rakam yerine gösterilebilir hata kategorilerine ayrışması için vardır. Tutumumuz basit: modelden puan değil liste isteyin ve nereden geldiğini söyleyemeyeceğiniz bir sayıyı hiçbir rapora yazmayın. İkinci risk, modelin kendi işini denetlemesidir: aynı konuşmanın içinde yazdığı şeyi olduğundan sağlam görür ve ikinci geçişi yeni bir konuşmada zorunlu kılan da budur. Üçüncüsü, her zamanki gizlilik sorusudur; politikalar aynı değildir. Google'ın Gemini uygulamaları için gizlilik sayfası, insan denetçilerin verinin bir kısmını gördüğünü ve incelenen konuşmaların üç yıla kadar saklandığını söylüyor; Claude'un veri sayfası ise konuşmaların varsayılan olarak eğitimde kullanılmadığını söylüyor.
Kaynaklar: MQM Core typology: error dimensions and definitions Google: Gemini Apps Privacy Hub (human reviewers, retention) Google: where Gemini Apps are available Anthropic: is my data used for model training
Bu tavsiyenin sınırı
Bu dersteki ölçüm kendi metnimiz üzerindedir ve sınırları açıkça söylenmelidir: bu metinler çevrilmiş değil, dört dilde ayrı ayrı yazılmıştır; dolayısıyla sayılan şey bir yazarın kararıdır, bir çevirmenin davranışı değil ve kaynağının yapısını izlemek zorunda olan gerçek bir çeviride farklar başka bir biçim alır. Burada hiçbir hata oranı ilan edilmiyor ve edilemez, çünkü denetimimiz hata değil aday bulur. ISO 17100'ün metni hakkında, katalog kaydında basılı başlık ve kapsam dışında hiçbir iddiada bulunmadık; standardı okumadık. İki şey bilerek bu dersin dışında: kendi başına bir zanaat olan ve yeri düzenleme ve son okuma dersi olan tek dilli düzenleme ve bir kalite sistemi değil hukuki bir izin olan yeminli çeviri; hiçbir inceleme onun yerine geçmez.
Kendi işimizden
Bir tutarlılık denetimi yazdık ve bulduğu ilk şey kendi içindeki bir kusur oldu. Basit bir iş yapıyordu: bu bölümün 152 ders dosyasından gelen 2.827 uzun pasaj üzerinde, her Farsça pasajın cümle sayısını İngilizce karşılığıyla karşılaştırmak. İlk rapor yüzde 91,7'sinin eşleştiğini ve 93 pasajın iki ya da daha fazla cümle farkla ayrıldığını söylüyordu. Listedeki en büyük satır 28 Farsça cümleye karşı 15 İngilizce cümleydi ve bütün tablodan kuşkulanmamıza yol açan şey tek başına o satır oldu. Nedeni şuydu: sayaç, ondalık noktayı cümle noktasıyla karıştırmamak için noktanın çevresindeki rakamlara bakıyordu ama rakam olarak yalnızca Latin rakamlarını tanıyordu; Farsça metinde her ondalık sayı hayalî bir cümle üretiyordu ve daha çok sayı taşıyan pasajlar en büyük farkları gösteriyordu. Fars ve Arap-Hint rakamları tanıma eklendiğinde aynı ölçüm yüzde 95,5 çıktı ve iki ya da daha fazla farkla ayrılan satırlar 93'ten 9'a düştü. Arapça yüzde 97,6, Türkçe yüzde 94,4 çıktı. Yani ilk 93 bulgunun 84'ü metinde hiç yoktu. Herhangi bir denetim aracına güvenmeden önce onu bilerek bozulmuş bir girdiyle sınamamızın nedeni budur ve bir kalite raporunu basılabilir bir sayıdan ayıran şey de budur.
Gerçek devam soruları
Geri çeviri her projede gerekli mi?
Hayır ve rutin olarak çalıştırmak, bulduğu hatadan çok bütçe yer. Yeri, tek bir yanlış kelimenin sonuç doğurduğu metinlerdir: bir doz, bir tutar, sözleşmeye dayalı bir taahhüt, bir güvenlik uyarısı. Geri kalan her şey için sayılar, adlar ve olumsuzluk üzerinde iki dilli bir geçiş aynı işi daha ucuza yapar.
İkinci bir okurumuz yoksa ne yapmalıyız?
Mesafe satın alın ve ortamı değiştirin: yarın okuyun, kâğıttan ya da başka bir yazı tipiyle, bir kez de sesli. Bunlar metne aşinalığınızı azaltır ve gözü yeniden açan şey budur. Sayılar ve yazım için sondan başa okumak işe yarar, çünkü anlatı artık gözü ileri çekmez.
Yapay zekadan çeviri kalite puanı alınabilir mi?
Bir sayı alırsınız ama o sayı bir ölçüm değildir: arkasında ölçek yoktur ve iki kez sormak iki cevap verir. Onun yerine, satır satır kabul ya da reddedilebilsin diye kategorilenmiş ve kanıtlı bir liste isteyin. Kaynağını izleyemediğiniz bir sayının müşteri raporunda yeri yoktur.