Sağlıklı hastaların hasta hastalardan çok daha fazla olduğu dengesiz bir veri kümesi üzerinde bir tıbbi teşhis modeli eğitildi. Yanlış pozitifler (sağlıklı hastaları yanlış bir şekilde hasta olarak etiketleme) şirket maliyetlerini artırır. Bu endişe göz önüne alındığında, model performansını en iyi hangi metrik yansıtır?

Dengesiz bir veri kümesinde, özellikle yanlış pozitiflerin maliyetli olduğu durumlarda, Precision (Kesinlik) en uygun metriktir. Precision, modelin pozitif olarak tahmin ettiği örneklerin ne kadarının gerçekten pozitif olduğunu ölçer. Bu senaryoda, sağlıklı hastaların yanlışlıkla hasta olarak etiketlenmesi (yanlış pozitifler) maliyetleri artırdığından, modelin yalnızca gerçekten hasta olanları pozitif olarak etiketlemesini sağlamak önemlidir. Yüksek Precision, yanlış pozitiflerin düşük olduğu anlamına gelir. Recall (Duyarlılık), gerçek pozitiflerin ne kadarının doğru bir şekilde tanımlandığını ölçer, ancak yanlış pozitifler için bir garanti vermez. F1 skoru, Precision ve Recall'un harmonik ortalamasıdır ve her ikisini de dengeler, ancak bu senaryoda yanlış pozitiflere özel bir vurgu yoktur. Accuracy (Doğruluk), tüm doğru tahminlerin oranını verir, ancak dengesiz veri kümelerinde yanıltıcı olabilir; çoğunluk sınıfını doğru tahmin ederek yüksek görünebilirken, azınlık sınıfını tamamen göz ardı edebilir.