Quelle métrique d'évaluation est couramment utilisée pour évaluer les modèles de fondation (FM) sur les tâches de résumé de texte ?

Le score BLEU est couramment utilisé pour évaluer les modèles de fondation sur les tâches de résumé de texte car il mesure la similarité entre le texte généré par le modèle et un ou plusieurs textes de référence écrits par des humains. Il quantifie la qualité de la traduction ou du résumé en évaluant la proportion de n-grammes (séquences de mots) partagés. Un score BLEU plus élevé indique une meilleure qualité. Le score F1 est plus adapté aux tâches de classification, où il équilibre la précision et le rappel. La précision (Accuracy) est également une métrique de classification, mesurant la proportion de prédictions correctes. L'erreur quadratique moyenne (MSE) est une métrique de régression, utilisée pour évaluer la différence entre les valeurs prédites et les valeurs réelles dans des problèmes où la sortie est continue.