신용카드 사기 탐지 모델은 가능한 한 많은 사기 거래(양성)를 찾아야 합니다. 거래의 약 2%만이 사기입니다. 데이터 과학자는 양성 탐지를 우선시하기 위해 어떤 두 가지 평가 지표를 최적화해야 할까요?

사기 탐지 모델은 사기 거래(양성 클래스)를 최대한 많이 찾아내는 것이 중요합니다. 이는 재현율(Recall 또는 True Positive Rate)을 높이는 것을 의미합니다. 재현율은 실제 사기 거래 중 모델이 사기로 올바르게 분류한 비율입니다. 사기 거래가 전체 거래의 2%에 불과한 불균형 데이터셋에서는 정확도(Accuracy)가 높더라도 실제 사기 탐지 성능이 낮을 수 있습니다. 정밀도-재현율 곡선 아래 면적(Area under the Precision-Recall Curve, AUPRC)은 불균형 데이터셋에서 양성 클래스 예측 성능을 평가하는 데 매우 유용합니다. 이는 다양한 임계값에서 정밀도와 재현율 간의 균형을 보여주므로, 양성 클래스 탐지가 중요한 경우에 적합합니다. 특이도(Specificity)와 오탐율(False Positive Rate)은 음성 클래스(정상 거래) 예측 성능과 관련이 있어 이 시나리오의 주요 목표와는 거리가 있습니다.