Un réseau neuronal entraîné avec une descente de gradient stochastique présente une perte d'entraînement et de validation élevée et oscillante qui diminue pendant quelques époques, puis augmente de manière répétée. Quelle action l'ingénieur ML devrait-il prendre pour stabiliser et améliorer l'entraînement ?

Une perte d'entraînement et de validation élevée et oscillante qui diminue puis augmente de manière répétée est un indicateur classique d'un taux d'apprentissage trop élevé. Un taux d'apprentissage excessif fait que l'optimiseur "saute" par-dessus le minimum de la fonction de perte, ce qui entraîne des oscillations et une incapacité à converger. Diminuer le taux d'apprentissage permet à l'optimiseur de prendre des pas plus petits et plus stables vers le minimum global, stabilisant ainsi l'entraînement et améliorant la convergence. L'arrêt anticipé est une technique de régularisation pour éviter le surapprentissage, mais ne résoudra pas les oscillations causées par un taux d'apprentissage trop élevé. Augmenter la taille de l'ensemble de test n'affecte pas le processus d'entraînement. Augmenter le taux d'apprentissage aggraverait le problème.