Bir şirket, aracı tarafından üretilen makine çevirilerini aynı belge kümesindeki insan çevirileriyle karşılaştırıyor. Aracın çeviri kalitesini insan çevirilerine göre karşılaştırmak için hangi değerlendirme stratejisini kullanmalılar?

Doğru cevap, iki yöntemin göreceli çeviri kalitesini tahmin etmek için Bilingual Evaluation Understudy (BLEU) puanını kullanmaktır. BLEU puanı, makine çevirilerini referans insan çevirileriyle karşılaştırarak bir çevirinin kalitesini değerlendiren yaygın bir metriktir. Temel olarak, makine çevirisindeki n-gramların referans çevirilerdeki n-gramlarla ne kadar eşleştiğini ölçer. Bu, bir makine çeviri sisteminin performansını başka bir sistemle veya insan çevirileriyle karşılaştırmak için kullanıldığında göreceli bir kalite ölçüsü sağlar. Mutlak kaliteyi tahmin etmek yerine, BLEU puanı genellikle farklı sistemlerin veya modellerin performansını karşılaştırmak için kullanılır. BERTScore da bir çeviri değerlendirme metriği olmasına rağmen, BLEU puanı özellikle n-gram eşleşmesine dayalı karşılaştırmalar için daha köklü ve yaygın olarak kullanılır.