EcoSensors sviluppa un classificatore per il rilevamento di difetti nella produzione, con una prevalenza di difetti di circa lo 0,5%. Non rilevare un difetto (falso negativo) comporta costi operativi molto elevati, ma anche l'ispezione di falsi positivi consuma risorse. Selezionare DUE metriche di valutazione che il team dovrebbe privilegiare durante la validazione e l'ottimizzazione degli iperparametri per garantire che il modello funzioni bene in questo contesto sbilanciato e con un alto costo di mancato rilevamento.

La Precision-Recall AUC (PR-AUC) è preferibile all'AUC-ROC standard in dataset sbilanciati, come quello descritto (0,5% di difetti), perché si concentra sulla classe positiva (i difetti), fornendo una valutazione più realistica delle prestazioni del modello quando la classe negativa è predominante e meno interessante. L'F1-score (o F-beta con beta1) è cruciale perché bilancia precisione e richiamo. Dato l'alto costo dei falsi negativi (mancato rilevamento di un difetto), il richiamo è molto importante. Un F-beta con beta1 penalizza maggiormente i falsi negativi, allineandosi all'esigenza di minimizzare i costi operativi. L'accuratezza è fuorviante in dataset sbilanciati, poiché un modello che classifica tutto come "non difetto" avrebbe un'accuratezza del 99,5% ma sarebbe inutile. La specificità è meno rilevante in questo contesto, poiché si concentra sui veri negativi, mentre il problema principale sono i difetti non rilevati.