Une entreprise compare des grands modèles linguistiques pour une tâche de résumé de texte et a besoin d'une métrique pour évaluer la qualité du résumé. Quelle métrique est appropriée ?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) est une métrique standard pour évaluer la qualité des résumés de texte. Elle compare le résumé généré par le modèle à un ou plusieurs résumés de référence écrits par des humains, en mesurant le chevauchement des n-grammes (mots ou séquences de mots). Un score ROUGE plus élevé indique un résumé plus proche des références humaines. Le Recall mesure la proportion de vrais positifs correctement identifiés, ce qui est plus pertinent pour la classification binaire. L'AUC est utilisée pour évaluer la performance des classificateurs binaires en traçant la courbe ROC. Le MSE est une métrique d'erreur utilisée pour les tâches de régression, mesurant la différence moyenne au carré entre les valeurs prédites et réelles. Ces trois métriques ne sont pas adaptées à l'évaluation de la qualité d'un résumé de texte.