System wykrywania oszustw oznacza podejrzane transakcje kartą kredytową do weryfikacji przez pracownika. Firma chce skrócić czas poświęcany na przeglądanie oznaczonych przypadków, które w rzeczywistości są uzasadnione. Która metryka oceny najlepiej wspiera ten cel?

Precyzja (Precision) jest najlepszą metryką, ponieważ mierzy odsetek poprawnie zidentyfikowanych pozytywnych przypadków (prawdziwe oszustwa) spośród wszystkich przypadków, które model oznaczył jako pozytywne (podejrzane transakcje). Wysoka precyzja oznacza, że mniej transakcji oznaczonych jako oszustwa jest w rzeczywistości uzasadnionych, co bezpośrednio skraca czas poświęcany na przeglądanie fałszywych alarmów. Recall (czułość) mierzy zdolność modelu do znajdowania wszystkich pozytywnych przypadków, co jest ważne, ale nie rozwiązuje problemu fałszywych alarmów. Dokładność (Accuracy) mierzy ogólną poprawność, ale może być myląca w przypadku niezrównoważonych zbiorów danych. Wykres Lift (Lift chart) to narzędzie do oceny skuteczności modelu w porównaniu do losowego wyboru, a nie pojedyncza metryka do optymalizacji.