ML 엔지니어가 10년간의 과거 데이터를 사용하여 연속적인 숫자 예측을 수행하는 SageMaker Canvas 모델을 구축하고 있습니다. 모델의 예측 성능을 평가하기 위해 엔지니어는 어떤 평가 지표를 사용해야 할까요?

연속적인 숫자 예측(회귀 문제)에는 평균 제곱근 오차(RMSE)가 적합한 평가 지표입니다. RMSE는 예측값과 실제값의 차이를 제곱하여 평균을 낸 후 제곱근을 취한 값으로, 오차의 크기를 나타내며 오차가 클수록 지표 값도 커집니다. 정확도(Accuracy)는 분류 문제에 사용되며, 추론 지연 시간(Inference Latency)은 모델의 성능이 아닌 배포 후 응답 속도에 관련된 지표입니다. ROC 곡선 아래 면적(AUC) 역시 이진 분류 문제에 주로 사용됩니다. 따라서 회귀 모델의 예측 성능을 평가하기 위해서는 RMSE를 사용하는 것이 가장 적절합니다.