EcoSensors는 제조 불량 탐지 분류기를 구축하며, 불량 발생률은 약 0.5%입니다. 불량을 놓치는 것(오탐, false negative)은 운영 비용이 매우 높지만, 오탐(false positive)을 검사하는 것 또한 자원을 소모합니다. 이 불균형하고 놓쳤을 때 비용이 많이 드는 환경에서 모델이 잘 작동하도록 검증 및 하이퍼파라미터 튜닝 중에 팀이 우선적으로 고려해야 할 두 가지 평가 지표를 선택하세요.

불량 탐지처럼 데이터가 불균형하고 오탐(false negative) 비용이 높은 경우, PR-AUC와 F1-score 또는 F-beta가 적합합니다. PR-AUC는 양성 클래스 예측의 정밀도와 재현율 간의 균형을 보여주며, 특히 불균형 데이터셋에서 AUC-ROC보다 더 유용한 통찰력을 제공합니다. AUC-ROC는 불균형 데이터셋에서 실제 음성(true negative)이 많을 때 높은 값을 보여 오해의 소지가 있습니다. F1-score는 정밀도와 재현율의 조화 평균으로, 두 지표 모두 중요할 때 유용합니다. 특히 오탐(false negative) 비용이 높으므로 재현율에 더 가중치를 두는 F-beta (beta 1)가 더 적절할 수 있습니다. 정확도는 불균형 데이터셋에서 다수 클래스에 편향되어 잘못된 성능을 나타낼 수 있습니다. 특이도는 주로 음성 클래스 예측에 중점을 두므로, 불량 탐지(양성 클래스)에 대한 성능을 평가하기에는 부적합합니다.