Bir şirket, çeşitli dillerde makale özetleri üretmek için Amazon SageMaker kullanıyor ve diller arası çevrilmiş özetlerin kalitesini değerlendirmek için bir metriğe ihtiyaç duyuyor. Hangi değerlendirme metriğini kullanmalılar?

Doğru cevap BLEU'dur (Bilingual Evaluation Understudy). BLEU, makine çevirisi çıktısının kalitesini değerlendirmek için yaygın olarak kullanılan bir metriktir. Bir makine çevirisinin, insan tarafından oluşturulmuş referans çevirilerle ne kadar örtüştüğünü ölçer. Şirket, farklı dillerdeki özetlerin çeviri kalitesini değerlendirmek istediği için BLEU en uygun metriktir. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) genellikle metin özetleme görevlerinde kullanılır ve referans özetteki n-gram'ların üretilen özette ne kadarının bulunduğunu ölçer. AUC (Area Under the ROC Curve) ve Precision ise sınıflandırma modellerinin performansını değerlendirmek için kullanılan metriklerdir ve çeviri kalitesi değerlendirmesi için uygun değildir.