Durante l'addestramento di un modello di generazione di testo, la loss non converge dopo diverse epoche e l'accuratezza di validazione oscilla. Per aiutare il modello a generalizzare, quale regolazione è più appropriata?

Quando la loss non converge e l'accuratezza di validazione oscilla, il modello potrebbe avere difficoltà a trovare un minimo stabile o a generalizzare. Diminuire il learning rate (tasso di apprendimento) aiuta a fare passi più piccoli e precisi verso il minimo, riducendo le oscillazioni e favorendo la convergenza. Aumentare la dimensione del mini-batch fornisce una stima più stabile del gradiente, riducendo il rumore nel processo di aggiornamento dei pesi e contribuendo a una convergenza più fluida e a una migliore generalizzazione. Aumentare il learning rate (opzioni A e B) peggiorerebbe le oscillazioni e la non convergenza. Ridurre la dimensione del mini-batch (opzioni A e D) aumenterebbe il rumore nel gradiente, rendendo più difficile la convergenza stabile.