使用隨機梯度下降訓練的神經網路顯示高且震盪的訓練和驗證損失，該損失在幾個 epoch 後下降，然後重複增加。ML 工程師應該採取什麼行動來穩定和改進訓練？

高且震盪的訓練和驗證損失，即使在幾個 epoch 後下降，然後又重複增加，這通常表示學習率過高。過高的學習率會導致模型在最佳解附近「跳過」或「震盪」，無法收斂到最小值。降低學習率可以幫助模型以更小的步長更新權重，從而更平穩地收斂，減少震盪並穩定損失。早期停止是一種正則化技術，用於防止過度擬合，但它無法解決學習率過高導致的訓練不穩定問題。增加測試集大小不會直接解決訓練過程中的不穩定性。增加學習率只會使問題惡化。