Une entreprise utilise Amazon SageMaker pour produire des résumés d'articles en plusieurs langues et a besoin d'une métrique pour évaluer la qualité des résumés traduits dans différentes langues. Quelle métrique d'évaluation devrait-elle utiliser ?

BLEU (Bilingual Evaluation Understudy) est la métrique standard pour évaluer la qualité de la traduction automatique, y compris les résumés traduits. Elle compare les n-grammes du texte traduit avec ceux d'une ou plusieurs traductions de référence, mesurant la précision et la fluidité. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) est principalement utilisé pour l'évaluation de la génération de résumés monolingues, se concentrant sur le rappel des informations clés. AUC (Area Under the ROC Curve) est une métrique pour les modèles de classification binaire, mesurant leur capacité à distinguer les classes. La Précision est une métrique de classification qui indique la proportion de prédictions positives correctes parmi toutes les prédictions positives, et n'est pas adaptée pour évaluer la qualité de la traduction.