Bir sahtekarlık tespit sistemi, şüpheli kredi kartı işlemlerini çalışan incelemesi için işaretler. Şirket, aslında yasal olan işaretlenmiş vakaları incelemek için harcanan süreyi azaltmak istiyor. Bu hedefi en iyi hangi değerlendirme metriği destekler?

Precision (Kesinlik), bir sınıflandırıcının pozitif olarak tahmin ettiği durumlar arasında gerçekten pozitif olanların oranını ölçer. Sahtekarlık tespit sisteminde, bu, sistemin sahtekarlık olarak işaretlediği işlemlerden gerçekten sahtekarlık olanların oranıdır. Şirket, yasal olan ancak yanlışlıkla işaretlenen (yanlış pozitifler) vakaları incelemek için harcanan süreyi azaltmak istediğinden, yanlış pozitifleri en aza indirmek önemlidir. Precision'ı artırmak, yanlış pozitifleri azaltarak bu hedefe doğrudan hizmet eder. Recall (Duyarlılık), gerçek pozitiflerin tüm gerçek pozitifler içindeki oranını ölçer ve sahtekarlığı kaçırmama (yanlış negatifleri azaltma) ile daha çok ilgilidir. Accuracy (Doğruluk), tüm doğru tahminlerin toplam tahminlere oranını verir ancak sınıf dengesizliği olan durumlarda yanıltıcı olabilir. Lift chart ise modelin rastgele bir seçimden ne kadar daha iyi performans gösterdiğini gösteren bir görselleştirme aracıdır, doğrudan bir değerlendirme metriği değildir.