Une entreprise financière a déployé un modèle de ML pour prédire le désabonnement des clients et dispose d'une semaine de données de production. Elle souhaite mesurer la précision avec laquelle le modèle prédit le désabonnement par rapport aux résultats réels. Quelle métrique devrait-elle utiliser ?

Le score F1 est la métrique la plus appropriée car il s'agit d'une moyenne harmonique de la précision et du rappel, particulièrement utile pour évaluer les modèles de classification sur des ensembles de données déséquilibrés, comme c'est souvent le cas pour la prédiction du désabonnement où les cas de désabonnement sont moins nombreux. L'erreur quadratique moyenne (RMSE) est utilisée pour les problèmes de régression, pas de classification. Le retour sur investissement (ROI) est une mesure financière de la rentabilité, non une métrique de performance de modèle. Le score BLEU est utilisé pour évaluer la qualité de la traduction automatique ou la génération de texte, ce qui n'est pas pertinent ici.