Un modèle de diagnostic médical a été entraîné sur un jeu de données déséquilibré où les patients sains sont beaucoup plus nombreux que les patients malades. Les faux positifs (le fait d'étiqueter à tort des patients sains comme malades) augmentent les coûts de l'entreprise. Quelle métrique reflète le mieux les performances du modèle compte tenu de cette préoccupation ?

La précision (Precision) est la métrique la plus appropriée ici. Elle mesure la proportion de vrais positifs parmi tous les résultats positifs prédits par le modèle (Vrais Positifs / (Vrais Positifs + Faux Positifs)). Dans ce scénario, un faux positif signifie qu'un patient sain est diagnostiqué à tort comme malade, ce qui augmente les coûts. Maximiser la précision minimise ces faux positifs, ce qui est l'objectif principal. Le rappel (Recall) mesure la capacité du modèle à trouver toutes les instances positives réelles, ce qui est important mais ne cible pas directement la réduction des faux positifs coûteux. Le score F1 est la moyenne harmonique de la précision et du rappel, utile pour un équilibre, mais la précision est plus directe pour ce problème spécifique. L'exactitude (Accuracy) est trompeuse sur des jeux de données déséquilibrés car un modèle peut obtenir une exactitude élevée en classant simplement tout comme la classe majoritaire (sain).