Une entreprise entraîne un classifieur pour détecter la fraude à la carte de crédit ; environ 2 % des transactions sont frauduleuses. La priorité de l'entreprise est de détecter autant de transactions frauduleuses que possible. Quelles métriques d'évaluation le data scientist doit-il optimiser ? (Choisissez-en deux.)

L'objectif est de détecter autant de transactions frauduleuses que possible, ce qui signifie minimiser les faux négatifs (transactions frauduleuses non détectées). Le taux de vrais positifs (rappel) mesure la proportion de fraudes réelles correctement identifiées, ce qui est directement aligné avec cet objectif. Le score F1 est la moyenne harmonique de la précision et du rappel. Il est particulièrement utile dans les ensembles de données déséquilibrés, comme c'est le cas ici (seulement 2 % de fraudes), car il pénalise les modèles qui ont un bon rappel mais une mauvaise précision, ou vice versa. La spécificité et le taux de faux positifs sont moins pertinents car ils se concentrent sur la détection correcte des transactions non frauduleuses, ce qui n'est pas la priorité principale. La précision (accuracy) n'est pas une bonne métrique pour les données déséquilibrées, car un modèle qui classifie tout comme non frauduleux aurait une précision de 98 %, mais ne détecterait aucune fraude.