Une entreprise compare les traductions automatiques produites par son outil avec des traductions humaines sur le même ensemble de documents. Quelle stratégie d'évaluation devrait-elle utiliser pour comparer la qualité de traduction de l'outil par rapport aux traductions humaines ?

Le score BLEU est une métrique couramment utilisée pour évaluer la qualité des traductions automatiques en comparant une traduction candidate à une ou plusieurs traductions de référence humaines. Il mesure la similarité lexicale et est particulièrement efficace pour les comparaisons relatives, c'est-à-dire pour déterminer si une traduction est meilleure qu'une autre, plutôt que pour juger de sa qualité absolue. Dans ce scénario, l'entreprise compare des traductions automatiques à des traductions humaines, ce qui est une comparaison relative. BERTScore est une métrique plus récente qui utilise des plongements de mots contextuels (embeddings) pour évaluer la similarité sémantique, offrant une évaluation plus nuancée que BLEU, mais BLEU reste une référence établie pour la comparaison relative de la qualité de traduction dans de nombreux contextes.