Een bedrijf moet een binaire classificator herkalibreren om correcte voorspellingen voor zowel positieve als negatieve klassen te maximaliseren. Welke evaluatiestatistiek moet de ML-engineer gebruiken voor deze herkalibratie?

Accuracy is de meest geschikte metriek omdat het de verhouding meet van correcte voorspellingen (zowel ware positieven als ware negatieven) ten opzichte van het totale aantal voorspellingen. Aangezien het bedrijf correcte voorspellingen voor zowel positieve als negatieve klassen wil maximaliseren, geeft accuracy een evenwichtig beeld van de algehele prestaties van het model. Precision richt zich alleen op de nauwkeurigheid van positieve voorspellingen (hoeveel van de voorspelde positieven zijn daadwerkelijk positief). Recall (ook wel gevoeligheid genoemd) richt zich alleen op het vermogen van het model om alle daadwerkelijke positieven te vinden. Specificity richt zich op het vermogen van het model om alle daadwerkelijke negatieven correct te identificeren. Geen van deze drie metrieken geeft een compleet beeld van de prestaties over beide klassen, zoals accuracy dat wel doet.