Un modèle de détection de fraude par carte de crédit doit trouver autant de transactions frauduleuses (positives) que possible ; seulement environ 2 % des transactions sont frauduleuses. Quelles sont les deux métriques d'évaluation que le data scientist devrait optimiser pour prioriser la capture des positifs ?

Pour la détection de fraude, il est crucial de maximiser la détection des transactions frauduleuses (positifs) tout en minimisant les faux négatifs. Le Taux de vrais positifs (True Positive Rate ou Recall) mesure la proportion de positifs réels correctement identifiés par le modèle. Optimiser cette métrique garantit que le modèle capture un maximum de fraudes. L'Aire sous la courbe précision-rappel (Area Under the Precision-Recall Curve - AUPRC) est particulièrement adaptée aux jeux de données déséquilibrés, comme c'est le cas ici avec seulement 2 % de transactions frauduleuses. Elle évalue la capacité du modèle à identifier les positifs sans générer trop de faux positifs, ce qui est essentiel pour un système de détection de fraude où chaque alerte doit être pertinente. La Spécificité et le Taux de faux positifs se concentrent sur la détection des négatifs et ne sont pas la priorité ici. La Précision (Accuracy) est trompeuse dans les jeux de données déséquilibrés car un modèle qui prédit toujours "non-fraude" aurait une précision élevée mais manquerait presque toutes les fraudes.