Büyük bir mobil ağ operatörü, hizmetlerini iptal etme olasılığı yüksek olan müşterileri tahmin etmek için bir model oluşturdu, böylece elde tutma teşvikleri sunabilir. 100 müşteri üzerinde test edildikten sonra model, gösterilen değerlendirme sonuçlarını üretti. Bu model neden üretime dağıtmak için kabul edilebilir olsun?

Modelin %86 doğruluk oranı, genel performansının iyi olduğunu gösterir. Ancak, müşteri kaybını tahmin eden bir modelde sadece doğruluk oranına bakmak yeterli değildir; yanlış pozitif ve yanlış negatiflerin iş maliyetleri de önemlidir. Bu senaryoda, yanlış pozitifler (churn yapmayacak müşterilere teşvik vermek) yanlış negatiflerden (churn yapacak müşterileri kaçırmak) daha az maliyetlidir. Yanlış negatifler, kaybedilen müşteri ve potansiyel gelir anlamına gelirken, yanlış pozitifler sadece gereksiz bir teşvik maliyetidir. Bu nedenle, yanlış pozitiflerin maliyetinin yanlış negatiflerden daha düşük olması, modelin üretime dağıtılması için kabul edilebilir bir neden olabilir. Diğer seçenekler, doğruluk ve kesinlik arasındaki ilişkiyi veya maliyet analizini yanlış yorumlamaktadır.