한 회사에서 자사 도구가 생성한 기계 번역과 동일한 문서 세트에 대한 사람 번역을 비교합니다. 두 가지 방법의 번역 품질을 사람 번역과 비교하여 평가하려면 어떤 평가 전략을 사용해야 할까요?

BLEU(Bilingual Evaluation Understudy) 점수는 기계 번역의 품질을 참조 번역(사람 번역)과 비교하여 평가하는 데 널리 사용되는 지표입니다. BLEU는 번역의 정확성, 유창성, 충실도를 측정하며, 특히 여러 기계 번역 시스템의 상대적인 성능을 비교하는 데 효과적입니다. 주어진 시나리오에서는 두 가지 다른 번역 방법(자사 도구와 사람 번역)을 비교하므로, BLEU 점수를 사용하여 이 두 방법의 상대적인 번역 품질을 추정하는 것이 가장 적절합니다. BERTScore는 BLEU와 유사하게 번역 품질을 평가하지만, 의미론적 유사성을 더 잘 포착하는 반면, BLEU는 n-그램 중첩을 기반으로 합니다. 그러나 이 문제에서는 두 방법의 '상대적인' 품질 비교에 초점을 맞추고 있으므로, BLEU가 여전히 강력한 선택입니다. '절대적인' 번역 품질을 추정한다는 것은 특정 번역의 본질적인 완벽성을 측정하는 것을 의미하는데, 이는 참조 번역에 대한 상대적인 비교를 통해 이루어지는 BLEU의 목적과 다릅니다.