Ein Unternehmen muss einen binären Klassifikator neu kalibrieren, um die korrekten Vorhersagen für positive und negative Klassen zu maximieren. Welche Bewertungsmetrik sollte der ML-Ingenieur für diese Neukalibrierung verwenden?

Accuracy ist die am besten geeignete Metrik, da sie das Verhältnis der korrekt klassifizierten Instanzen (sowohl positive als auch negative) zur Gesamtzahl der Instanzen misst. Wenn das Ziel ist, die korrekten Vorhersagen für beide Klassen zu maximieren, bietet Accuracy eine direkte Bewertung dieser kombinierten Leistung. Precision misst nur den Anteil der korrekt vorhergesagten positiven Fälle unter allen als positiv vorhergesagten Fällen. Recall (oder Sensitivity) misst den Anteil der korrekt vorhergesagten positiven Fälle unter allen tatsächlich positiven Fällen. Specificity misst den Anteil der korrekt vorhergesagten negativen Fälle unter allen tatsächlich negativen Fällen. Diese drei Metriken konzentrieren sich jeweils auf eine bestimmte Art von Klassifizierungsleistung und würden das Gesamtziel der Maximierung korrekter Vorhersagen für beide Klassen nicht umfassend abbilden.