ある企業が、自社のツールで生成された機械翻訳と、同じドキュメントセットに対する人間による翻訳を比較しています。ツールの翻訳品質を人間による翻訳と比較するために、どの評価戦略を使用すべきですか？

BLEUスコアは、機械翻訳の出力と人間の参照翻訳との間の単語の重複度に基づいて翻訳品質を評価する指標です。このスコアは、人間の翻訳を「ゴールドスタンダード」として、機械翻訳の出力がどれだけそれに近いかを示す相対的な品質を推定するのに適しています。絶対的な翻訳品質を直接測定するものではなく、あくまで参照翻訳との比較における品質を評価します。BERTScoreも翻訳品質評価に用いられますが、文脈的な類似性を考慮するため、BLEUスコアよりも人間の判断に近い評価をすることがありますが、このシナリオではBLEUスコアがより直接的な比較に適しています。