Ein Modell zur Erkennung von Kreditkartenbetrug muss so viele betrügerische Transaktionen (Positivfälle) wie möglich finden; nur etwa 2 % der Transaktionen sind Betrug. Welche zwei Bewertungsmetriken sollte der Data Scientist optimieren, um die Erfassung von Positivfällen zu priorisieren?

Die True-Positive-Rate (TPR), auch als Recall oder Sensitivität bekannt, misst den Anteil der korrekt identifizierten positiven Fälle (Betrugstransaktionen) an allen tatsächlich positiven Fällen. Da das Ziel ist, so viele betrügerische Transaktionen wie möglich zu finden, ist die Maximierung der TPR entscheidend. Die Fläche unter der Präzisions-Recall-Kurve (AUPRC) ist besonders nützlich bei stark unausgewogenen Datensätzen, wie hier (nur 2 % Betrug). Sie bewertet die Modellleistung über verschiedene Schwellenwerte hinweg und legt den Fokus auf die Erkennung der Minderheitsklasse, was für die Betrugserkennung ideal ist. Spezifität und Falsch-Positiv-Rate (FPR) konzentrieren sich auf die korrekte Identifizierung negativer Fälle oder die Anzahl der falsch als positiv klassifizierten negativen Fälle, was hier nicht die Hauptpriorität ist. Genauigkeit (Accuracy) ist bei unausgewogenen Datensätzen irreführend, da ein Modell, das immer "kein Betrug" vorhersagt, eine hohe Genauigkeit hätte, aber keinen Betrug erkennen würde.