Bir şirket, ML modeliyle mümkün olduğunca çok sayıda sahte işlemi yakalamak istiyor. Tespit edilen sahtekarlık vakalarını en üst düzeye çıkarmak için hangi değerlendirme metriğine öncelik verilmelidir?

Şirket, mümkün olduğunca çok sayıda sahte işlemi yakalamak istediğinden, gerçek pozitifleri (doğru tespit edilen sahte işlemler) en üst düzeye çıkarmayı hedeflemektedir. Recall (Duyarlılık), tüm gerçek pozitif vakalar içinde modelin doğru bir şekilde tanımladığı pozitif vakaların oranını ölçer. Bu nedenle, sahte işlemlerin kaçırılmasını en aza indirmek için Recall'a öncelik verilmelidir. F1 skoru, Precision ve Recall'un harmonik ortalamasıdır ve her ikisini de dengeler, ancak bu senaryoda Recall daha kritiktir. AUC, farklı eşiklerde modelin performansını özetler ancak tek bir eşikteki pozitif sınıf yakalama oranını doğrudan optimize etmez. Precision (Kesinlik), modelin pozitif olarak tahmin ettiği vakaların ne kadarının gerçekten pozitif olduğunu ölçer; bu, yanlış pozitifleri (sağlam işlemlerin sahte olarak işaretlenmesi) en aza indirmek için önemlidir, ancak bu senaryoda birincil hedef değildir.