EcoSensors développe un classifieur de détection de défauts pour la fabrication, avec une prévalence de défauts d'environ 0,5 %. Manquer un défaut (faux négatif) a un coût opérationnel très élevé, mais l'inspection des faux positifs consomme également des ressources. Sélectionnez DEUX métriques d'évaluation que l'équipe devrait privilégier lors de la validation et de l'ajustement des hyperparamètres pour s'assurer que le modèle fonctionne bien dans ce contexte déséquilibré et à coût élevé en cas d'erreur.

Le problème est caractérisé par un déséquilibre de classes extrême (prévalence de défauts de 0,5 %) et un coût élevé pour les faux négatifs. L'AUC Précision-Rappel (PR-AUC) est préférable à l'AUC-ROC standard pour les ensembles de données déséquilibrés, car l'AUC-ROC peut donner une impression trompeuse de bonnes performances en raison du grand nombre de vrais négatifs. La PR-AUC se concentre sur la classe minoritaire positive, ce qui est crucial ici. Le score F1 est une moyenne harmonique de la précision et du rappel, utile lorsque les deux métriques sont importantes. Un F-bêta avec bêta 1 est encore plus approprié car il accorde plus de poids au rappel, ce qui est essentiel pour minimiser les faux négatifs coûteux. La précision est trompeuse dans les données déséquilibrées. La spécificité ne se concentre pas sur la détection des défauts (classe positive).