Bir finans firması, müşteri kaybını tahmin etmek için bir ML modeli dağıttı ve bir haftalık üretim verisine sahip. Modelin müşteri kaybını gerçek sonuçlara karşı ne kadar doğru tahmin ettiğini ölçmek istiyorlar. Hangi metriği kullanmalılar?

Müşteri kaybı tahmini, sınıflandırma problemidir (kayıp yaşanacak veya yaşanmayacak). F1 skoru, hassasiyet (precision) ve duyarlılık (recall) arasında bir denge sağlayan, sınıflandırma modellerinin performansını değerlendirmek için uygun bir metriktir. Özellikle sınıf dengesizliği olan durumlarda (kayıp yaşayan müşteri sayısı genellikle azdır) F1 skoru daha bilgilendiricidir. RMSE, regresyon problemleri için kullanılırken, ROI iş değeri ölçümüdür ve modelin doğruluğunu doğrudan ölçmez. BLEU skoru ise doğal dil işleme (NLP) alanında makine çevirisi gibi görevlerde kullanılır.