EcoSensors bouwt een classificatiemodel voor defectdetectie in de productie, waarbij defecten een prevalentie hebben van ~0,5%. Het missen van een defect (vals negatief) heeft zeer hoge operationele kosten, maar het inspecteren van vals positieven verbruikt ook middelen. Selecteer TWEE evaluatiestatistieken die het team moet prioriteren tijdens validatie en hyperparameter-tuning om ervoor te zorgen dat het model goed presteert in deze onevenwichtige setting met hoge kosten bij het missen van defecten.

De dataset is sterk onevenwichtig (0,5% defecten) en vals negatieven zijn kostbaar. PR-AUC is geschikt voor onevenwichtige datasets omdat het zich richt op de positieve klasse en minder gevoelig is voor de grote hoeveelheid negatieven dan ROC AUC. De F1-score (of F-beta met beta1) is ook geschikt omdat deze zowel precisie als recall combineert. Aangezien het missen van defecten (lage recall) kostbaar is, is een hogere beta-waarde in F-beta wenselijk om recall zwaarder te wegen. Nauwkeurigheid is misleidend bij onevenwichtige datasets. Specificiteit richt zich op de negatieve klasse, wat hier minder kritiek is. ROC AUC is minder informatief bij sterke onevenwichtigheid dan PR-AUC.