EcoSensors, üretimdeki kusurları tespit etmek için, kusurların görülme sıklığı yaklaşık %0,5 olan bir kusur tespit sınıflandırıcısı geliştiriyor. Bir kusuru gözden kaçırmak (false negative) çok yüksek operasyonel maliyete sahipken, yanlış pozitifleri incelemek de kaynak tüketir. Modelin bu dengesiz, gözden kaçırmanın yüksek maliyetli olduğu ortamda iyi performans göstermesini sağlamak için doğrulama ve hiperparametre ayarlaması sırasında ekibin öncelik vermesi gereken İKİ değerlendirme metriğini seçin.

Bu senaryoda, kusurların görülme sıklığı düşük (%0,5) olduğu için veri kümesi dengesizdir ve yanlış negatiflerin maliyeti yüksektir. Precision-Recall AUC (PR-AUC), dengesiz veri kümelerinde ve özellikle pozitif sınıfın nadir olduğu durumlarda model performansını değerlendirmek için AUC-ROC'dan daha bilgilendiricidir. PR-AUC, pozitif sınıfı doğru tahmin etme yeteneğine odaklanır ve yanlış pozitif ile yanlış negatif arasındaki dengeyi daha iyi yansıtır. F1-score veya beta1 olan bir F-beta skoru da uygundur. F1-score, precision ve recall'un harmonik ortalamasıdır ve her ikisini de dengeler. Recall (duyarlılık) kusurları gözden kaçırmanın (yanlış negatifler) yüksek maliyetli olduğu durumlarda kritik olduğundan, recall'a daha fazla ağırlık veren (beta1) bir F-beta skoru, modelin bu gereksinimi karşılamasını sağlamak için idealdir. Genel test setindeki Accuracy (doğruluk), dengesiz veri kümelerinde yanıltıcı olabilir çünkü model tüm örnekleri negatif olarak tahmin etse bile yüksek doğruluk gösterebilir. AUC-ROC, dengesiz veri kümelerinde PR-AUC kadar bilgilendirici değildir. Specificity (özgüllük), yanlış negatifler yerine yanlış pozitifleri doğru bir şekilde tanımlamaya odaklanır ve bu senaryoda öncelikli değildir.