Un système de détection de fraude signale les transactions par carte de crédit suspectes pour examen par un employé. L'entreprise souhaite réduire le temps passé à examiner les cas signalés qui sont en fait légitimes. Quelle métrique d'évaluation correspond le mieux à cet objectif ?

La précision (Precision) mesure la proportion de prédictions positives correctes parmi toutes les prédictions positives effectuées par le modèle. Dans ce scénario, une transaction signalée comme frauduleuse est une prédiction positive. L'objectif est de réduire le temps passé à examiner les cas signalés qui sont légitimes (faux positifs). Une précision élevée signifie que la plupart des transactions signalées sont réellement frauduleuses, minimisant ainsi le nombre de faux positifs et le temps d'examen inutile. Le rappel (Recall) mesure la proportion de cas positifs réels que le modèle a correctement identifiés, ce qui est important pour ne pas manquer de fraudes, mais moins pertinent pour réduire les faux positifs. L'exactitude (Accuracy) mesure la proportion de prédictions correctes globales (vrais positifs et vrais négatifs), mais peut être trompeuse avec des ensembles de données déséquilibrés. Un graphique de lift (Lift chart) est un outil de visualisation pour évaluer l'efficacité d'un modèle par rapport à un modèle aléatoire, pas une métrique d'évaluation directe pour cet objectif spécifique.