Model diagnostyki medycznej został wytrenowany na niezbalansowanym zbiorze danych, gdzie liczba zdrowych pacjentów znacznie przewyższa liczbę pacjentów chorych. Fałszywe pozytywy (błędne oznaczenie zdrowych pacjentów jako chorych) zwiększają koszty firmy. Która metryka najlepiej odzwierciedla wydajność modelu, biorąc pod uwagę ten problem?

Precyzja (Precision) jest najlepszą metryką w tym scenariuszu, ponieważ koncentruje się na minimalizowaniu fałszywych pozytywów. Wysoka precyzja oznacza, że model rzadko błędnie klasyfikuje zdrowych pacjentów jako chorych, co jest kluczowe, gdy fałszywe pozytywy generują koszty. Recall (czułość) mierzy zdolność modelu do znajdowania wszystkich pozytywnych przypadków, ale nie uwzględnia kosztów fałszywych pozytywów. F1 score jest średnią harmoniczną precyzji i recall, co czyni ją mniej odpowiednią, gdy jeden typ błędu jest znacznie bardziej kosztowny niż inny. Accuracy (dokładność) jest niewłaściwa dla niezbalansowanych zbiorów danych, ponieważ model może osiągnąć wysoką dokładność, błędnie klasyfikując rzadką klasę.