Een bedrijf wil zoveel mogelijk frauduleuze transacties detecteren met zijn ML-model. Welke evaluatiestatistiek moet worden geprioriteerd om het aantal geïdentificeerde fraudegevallen te maximaliseren?

Om zoveel mogelijk frauduleuze transacties te detecteren, moet het bedrijf prioriteit geven aan Recall (ook wel gevoeligheid genoemd). Recall meet het percentage van alle daadwerkelijke positieven (frauduleuze transacties) dat correct door het model is geïdentificeerd. Een hoge recall betekent dat het model weinig frauduleuze transacties mist, wat cruciaal is in dit scenario. De F1-score is een harmonisch gemiddelde van precisie en recall, wat nuttig is wanneer er een balans tussen beide nodig is, maar niet als het maximaliseren van detectie het hoofddoel is. AUC meet de algehele prestaties van het model over alle classificatiedrempels heen, wat minder specifiek is voor het maximaliseren van de detectie van positieven. Precisie meet het percentage van de door het model als positief geïdentificeerde gevallen dat daadwerkelijk positief is; een hoge precisie betekent minder valse positieven, wat in dit geval minder belangrijk is dan het vinden van alle fraude.