Un modello di rilevamento delle frodi con carta di credito deve trovare il maggior numero possibile di transazioni fraudolente (positivi); solo circa il 2% delle transazioni sono frodi. Quali due metriche di valutazione dovrebbe ottimizzare il data scientist per dare priorità all'acquisizione dei positivi?

Per un modello di rilevamento frodi, dove le frodi sono rare (2%) e l'obiettivo è trovarne il più possibile, è cruciale ottimizzare il Tasso di veri positivi (True Positive Rate - Recall). Questo misura la proporzione di frodi correttamente identificate rispetto a tutte le frodi reali. L'Area sotto la curva precisione-recall (AUPRC) è un'altra metrica fondamentale perché valuta le prestazioni del modello in scenari con classi sbilanciate, come questo, concentrandosi sulla capacità di identificare i positivi senza generare troppi falsi positivi. L'accuratezza (Accuracy) sarebbe fuorviante perché un modello che classifica tutto come non-frode avrebbe un'accuratezza del 98%, ma non rileverebbe alcuna frode. La specificità (Specificity) e il tasso di falsi positivi (False Positive Rate) si concentrano sui negativi, che non sono la priorità principale in questo scenario.