分類タスクのためにミニバッチでニューラルネットワークをトレーニングしているときに、トレーニング精度がイテレーション間で大きく変動します。最も可能性の高い原因は何ですか？

学習率が高すぎると、最適化アルゴリズムが損失関数の最小値を飛び越えてしまい、トレーニング精度が大きく変動することがあります。これは、各更新ステップでパラメータが過度に調整されるためです。 データセットのクラスラベルが不均衡である場合、モデルは多数派クラスに偏る可能性がありますが、イテレーション間の精度が大きく変動する直接的な原因ではありません。エポック間のデータセットのシャッフルが無効になっていると、モデルが特定のデータ順序に過学習する可能性がありますが、これも精度が大きく変動する直接的な原因ではありません。ミニバッチサイズが大きすぎると、更新頻度が減り、汎化能力が低下する可能性がありますが、イテレーション間の大きな変動にはつながりにくいです。