분류 작업을 위해 미니 배치(mini-batch)로 신경망을 훈련하는 동안, 훈련 정확도가 반복(iteration)마다 심하게 변동합니다. 가장 가능성 있는 원인은 무엇입니까?

훈련 정확도가 반복마다 심하게 변동하는 것은 일반적으로 학습률이 너무 높게 설정되었을 때 나타나는 현상입니다. 학습률이 높으면 모델이 최적의 가중치를 지나쳐 버리면서 손실 함수가 발산하거나 불안정하게 진동할 수 있습니다. 데이터셋에 불균형한 클래스 레이블이 있으면 모델이 소수 클래스를 잘 예측하지 못할 수 있지만, 반복마다 정확도가 심하게 변동하기보다는 특정 클래스에 대한 편향된 예측을 보입니다. 에포크 간 데이터셋 셔플링이 비활성화되면 모델이 데이터의 순서에 과적합될 수 있지만, 반복마다 정확도가 심하게 변동하는 직접적인 원인은 아닙니다. 미니 배치 크기가 너무 크면 훈련이 느려지고 일반화 성능이 저하될 수 있지만, 심한 정확도 변동보다는 수렴 속도나 최적화 경로에 영향을 미칩니다.