Lors de l'entraînement d'un modèle de génération de texte, la perte ne converge pas après plusieurs époques et la précision de validation oscille. Pour aider le modèle à généraliser, quel ajustement est le plus approprié ?

La perte qui ne converge pas et la précision de validation qui oscille indiquent souvent un entraînement instable ou un surapprentissage. Diminuer le taux d'apprentissage (learning rate) permet au modèle de faire des pas plus petits et plus stables dans l'espace des poids, aidant ainsi à la convergence. Augmenter la taille du mini-lot (batch size) réduit la variance du gradient estimé, ce qui stabilise davantage l'entraînement et peut améliorer la généralisation en fournissant une estimation plus robuste de la direction de la descente. Augmenter le taux d'apprentissage ou le faire varier progressivement pourrait aggraver l'instabilité. Diminuer à la fois le taux d'apprentissage et la taille du mini-lot pourrait rendre l'entraînement trop lent et ne pas résoudre le problème de la variance du gradient.