Bir kredi kartı sahtekarlığı tespit modelinin mümkün olduğunca çok sayıda sahte işlemi (pozitifleri) bulması gerekmektedir; işlemlerin yalnızca yaklaşık %2'si sahtekarlıktır. Veri bilimci, pozitifleri yakalamaya öncelik vermek için hangi iki değerlendirme metriğini optimize etmelidir?

Kredi kartı sahtekarlığı tespiti gibi dengesiz veri kümelerinde, modelin sahte işlemleri (pozitifleri) doğru bir şekilde tanımlaması kritik öneme sahiptir. "True positive rate" (Hassasiyet veya Geri Çağırma), tüm gerçek pozitifler arasında modelin doğru bir şekilde tahmin ettiği pozitiflerin oranını ölçer. Bu metrik, mümkün olduğunca çok sahte işlemi yakalama hedefini doğrudan destekler. "Area under the precision–recall curve" (PR eğrisi altındaki alan), özellikle dengesiz veri kümelerinde modelin performansını değerlendirmek için daha uygun bir metriktir. Yüksek geri çağırma (true positive rate) ve yüksek kesinlik (precision) değerlerini aynı anda optimize etmeye çalışır. Kesinlik, modelin pozitif olarak tahmin ettiği örnekler arasında gerçekten pozitif olanların oranını gösterir. Specificity (Özgüllük) ve False positive rate (Yanlış pozitif oranı), modelin negatifleri doğru tahmin etme yeteneğiyle ilgilidir, ancak sahte işlemleri yakalama önceliğiyle doğrudan ilişkili değildir. Accuracy (Doğruluk), dengesiz veri kümelerinde yanıltıcı olabilir çünkü model çoğu negatif sınıfı doğru tahmin ederek yüksek doğruluk elde edebilirken, azınlık sınıfı (sahte işlemler) tespitinde başarısız olabilir.