Dans un environnement à haut risque pour un classifieur binaire, manquer un cas positif (faux négatif) n'a aucun coût, mais faire un faux positif est extrêmement coûteux. Quelle métrique de performance devrait être la principale cible lors de l'optimisation de ce modèle ?

La précision (Precision) est la métrique la plus appropriée car elle mesure la proportion de vrais positifs parmi tous les cas prédits comme positifs. Dans ce scénario, un faux positif est extrêmement coûteux. Maximiser la précision signifie que le modèle est très sûr lorsque qu'il prédit un cas positif, réduisant ainsi le nombre de faux positifs. L'Accuracy (exactitude) n'est pas idéale car elle peut être élevée même avec de nombreux faux positifs si les vrais négatifs sont majoritaires. Le Recall (rappel) mesure la proportion de vrais positifs parmi tous les cas réellement positifs ; le maximiser sans tenir compte de la précision entraînerait trop de faux positifs. Le F1 score est une moyenne harmonique de la précision et du rappel, ce qui ne convient pas lorsque l'un des types d'erreur est beaucoup plus coûteux que l'autre.