Model wykrywający oszustwa związane z kartami kredytowymi musi znaleźć jak najwięcej oszukańczych transakcji (pozytywów); tylko około 2% transakcji to oszustwa. Które dwie metryki oceny powinien zoptymalizować analityk danych, aby priorytetowo traktować wychwytywanie pozytywów?

Wykrywanie oszustw to problem z niezrównoważonymi klasami, gdzie klasa pozytywna (oszustwo) jest rzadka. W takich przypadkach optymalizacja pod kątem True Positive Rate (czułości lub odsetka wykrytych oszustw) jest kluczowa, aby zminimalizować liczbę przeoczonych oszustw. Area Under the Precision-Recall Curve (AUPRC) jest odpowiednią metryką dla niezrównoważonych zbiorów danych, ponieważ skupia się na wydajności modelu w identyfikowaniu klasy pozytywnej, ignorując prawdziwe negatywy, które są dominujące. Accuracy (dokładność) jest myląca, ponieważ model, który zawsze przewiduje brak oszustwa, osiągnąłby wysoką dokładność (98%), ale byłby bezużyteczny. Specificity (swoistość) i False Positive Rate (odsetek fałszywych alarmów) koncentrują się na klasie negatywnej, co jest mniej istotne w tym scenariuszu.