Podczas trenowania modelu generowania tekstu, funkcja straty nie zbiega po kilku epokach, a dokładność walidacji oscyluje. Aby pomóc modelowi w generalizacji, która modyfikacja jest najbardziej odpowiednia?

Gdy funkcja straty nie zbiega, a dokładność walidacji oscyluje, model prawdopodobnie ma trudności z konwergencją lub nadmiernie dopasowuje się do danych treningowych. Zmniejszenie współczynnika uczenia (learning rate) pomaga modelowi w dokładniejszym dostrajaniu wag, unikając przeskakiwania optymalnego minimum funkcji straty. Zwiększenie rozmiaru mini-partii (mini-batch size) prowadzi do bardziej stabilnych gradientów, ponieważ są one uśredniane z większej liczby próbek. To z kolei redukuje szum w procesie optymalizacji i sprzyja lepszej generalizacji, zapobiegając nadmiernemu dopasowaniu do specyfiki pojedynczych próbek. Zwiększenie współczynnika uczenia mogłoby pogorszyć problem niestabilności. Progresywne zwiększanie współczynnika uczenia jest rzadko stosowane w celu stabilizacji treningu, a raczej w specyficznych harmonogramach uczenia. Zmniejszenie współczynnika uczenia i zmniejszenie rozmiaru mini-partii mogłoby spowolnić konwergencję i zwiększyć szum w gradientach.