Sieć neuronowa wytrenowana metodą stochastycznego spadku gradientu wykazuje wysokie, oscylujące straty treningowe i walidacyjne, które maleją przez kilka epok, a następnie wielokrotnie rosną. Jakie działanie powinien podjąć inżynier ML, aby ustabilizować i poprawić trening?

Wysokie, oscylujące straty treningowe i walidacyjne, które rosną po kilku epokach, są często oznaką zbyt wysokiego współczynnika uczenia. Duży współczynnik uczenia powoduje, że optymalizator wykonuje zbyt duże kroki, przeskakując optymalne rozwiązania i prowadząc do niestabilności. Zmniejszenie współczynnika uczenia pozwoli modelowi na bardziej precyzyjne dostosowywanie wag, co powinno ustabilizować trening i doprowadzić do konwergencji. Wczesne zatrzymywanie jest techniką regularyzacji, ale nie rozwiąże problemu niestabilności spowodowanej zbyt dużym współczynnikiem uczenia. Zwiększenie rozmiaru zbioru testowego nie wpływa bezpośrednio na stabilność treningu. Zwiększenie współczynnika uczenia tylko pogorszyłoby problem.