확률적 경사 하강법으로 훈련된 신경망에서 높고 진동하는 훈련 및 검증 손실이 몇 epoch 동안 감소하다가 반복적으로 증가합니다. ML 엔지니어는 훈련을 안정화하고 개선하기 위해 어떤 조치를 취해야 할까요?

높고 진동하는 손실은 학습률이 너무 높아 최적점을 지나쳐 버리는 현상(오버슈팅)을 나타낼 수 있습니다. 학습률을 낮추면 각 업데이트 단계가 작아져 모델이 최적점에 더 부드럽게 수렴하고 손실의 진동을 줄일 수 있습니다. 조기 종료는 과적합을 방지하는 데 유용하지만, 진동하는 손실 자체를 해결하지는 못합니다. 테스트 세트 크기를 늘리는 것은 모델 훈련에 직접적인 영향을 주지 않으며, 학습률을 높이는 것은 현재 문제를 악화시킬 것입니다.