Een model voor het detecteren van creditcardfraude moet zoveel mogelijk frauduleuze transacties (positieven) vinden; slechts ongeveer 2% van de transacties is fraude. Welke twee evaluatiestatistieken moet de data scientist optimaliseren om prioriteit te geven aan het vastleggen van positieven?

Bij fraudedetectie, waar positieve gevallen (fraude) zeldzaam zijn, is het cruciaal om zoveel mogelijk frauduleuze transacties te identificeren. De True Positive Rate (TPR), ook bekend als recall of gevoeligheid, meet het aandeel van de correct geïdentificeerde positieven uit alle werkelijke positieven. Een hoge TPR betekent dat weinig fraude onopgemerkt blijft. De Area Under the Precision-Recall Curve (AUPRC) is bijzonder geschikt voor onevenwichtige datasets, zoals deze, omdat het de afweging tussen precisie (hoeveel van de voorspelde positieven zijn correct) en recall (hoeveel van de werkelijke positieven zijn gevonden) over verschillende drempelwaarden weergeeft. Een hoge AUPRC duidt op een model dat zowel veel fraude detecteert als relatief weinig onterechte alarmen geeft. Specificiteit en False Positive Rate zijn minder relevant wanneer het primaire doel is om positieven te vangen, omdat ze zich richten op de correcte identificatie van negatieven. Accuracy is misleidend bij onevenwichtige datasets, omdat een model dat altijd 'geen fraude' voorspelt, toch een hoge nauwkeurigheid kan hebben.