Ein Betrugserkennungssystem kennzeichnet verdächtige Kreditkartentransaktionen zur Überprüfung durch Mitarbeiter. Das Unternehmen möchte den Zeitaufwand für die Überprüfung gekennzeichneter Fälle, die tatsächlich legitim sind, reduzieren. Welche Bewertungsmetrik unterstützt dieses Ziel am besten?

Präzision ist die Metrik, die am besten geeignet ist, um das Ziel zu erreichen, den Zeitaufwand für die Überprüfung legitimer, aber fälschlicherweise gekennzeichneter Transaktionen zu reduzieren. Präzision misst den Anteil der korrekt identifizierten positiven Fälle (echte Betrugsfälle) an allen vom System als positiv eingestuften Fällen (gekennzeichnete Transaktionen). Eine hohe Präzision bedeutet, dass von allen vom System als Betrug gekennzeichneten Fällen die meisten tatsächlich Betrug sind. Dies reduziert die Anzahl der Fehlalarme (legitime Transaktionen, die als Betrug gekennzeichnet wurden), wodurch der manuelle Überprüfungsaufwand für nicht-betrügerische Fälle minimiert wird. Recall (Empfindlichkeit) misst den Anteil der echten Betrugsfälle, die vom System korrekt erkannt wurden, und würde nicht direkt die Reduzierung von Fehlalarmen adressieren. Accuracy (Genauigkeit) misst den Gesamtanteil der korrekten Vorhersagen (sowohl Betrug als auch Nicht-Betrug), ist aber weniger spezifisch für das Problem der Fehlalarme. Ein Lift Chart ist ein Werkzeug zur Bewertung der Effektivität eines Modells im Vergleich zu einer Zufallsauswahl, aber keine direkte Bewertungsmetrik für dieses spezifische Ziel.