텍스트 생성 모델을 훈련하는 동안 여러 에포크 후에도 손실이 수렴되지 않고 검증 정확도가 진동합니다. 모델이 일반화되도록 돕기 위해 어떤 조정이 가장 적절할까요?

손실이 수렴되지 않고 검증 정확도가 진동하는 것은 모델이 불안정하거나 과적합될 가능성이 있음을 나타냅니다. 학습률을 낮추면 각 가중치 업데이트 단계가 작아져 모델이 최적점에 더 안정적으로 수렴하는 데 도움이 됩니다. 미니 배치 크기를 늘리면 각 업데이트에 사용되는 데이터 샘플의 수가 많아져 기울기 추정의 노이즈가 줄어들고, 이는 더 안정적인 학습과 더 나은 일반화로 이어질 수 있습니다. 학습률을 높이면 모델이 최적점을 건너뛰어 발산할 수 있습니다. 미니 배치 크기를 줄이면 기울기 추정의 노이즈가 증가하여 학습이 불안정해질 수 있습니다. 에포크가 증가함에 따라 학습률을 높이는 것은 일반적으로 발산으로 이어질 수 있으므로 적절하지 않습니다.