Een medisch diagnostisch model is getraind op een onevenwichtige dataset, waarbij gezonde patiënten veel talrijker zijn dan zieke patiënten. Fout-positieven (gezonde patiënten onterecht als ziek bestempelen) verhogen de bedrijfskosten. Welke metriek geeft de modelprestaties het beste weer, gezien deze zorg?

Precisie is de beste metriek omdat deze zich richt op de kosten van fout-positieven. Precisie meet het aandeel van correct geïdentificeerde positieve gevallen (echt zieke patiënten) van alle gevallen die als positief zijn geclassificeerd (zowel echt zieke als onterecht als ziek geclassificeerde patiënten). Een hoge precisie betekent dat wanneer het model een patiënt als ziek classificeert, de kans groot is dat die patiënt ook echt ziek is, wat de bedrijfskosten door onnodige vervolgonderzoeken minimaliseert. Recall (gevoeligheid) meet het aandeel van correct geïdentificeerde positieve gevallen van alle werkelijk positieve gevallen. Hoewel belangrijk, minimaliseert het fout-negatieven (zieke patiënten onterecht als gezond bestempelen), wat hier niet de primaire zorg is. De F1-score is het harmonische gemiddelde van precisie en recall, en hoewel nuttig bij onevenwichtige datasets, geeft het niet de prioriteit aan het minimaliseren van fout-positieven zoals precisie dat doet. Nauwkeurigheid (Accuracy) is misleidend bij onevenwichtige datasets, omdat een model een hoge nauwkeurigheid kan hebben door simpelweg de meerderheidsklasse te voorspellen.