Lors de l'entraînement d'un réseau neuronal avec des mini-lots pour une tâche de classification, la précision de l'entraînement fluctue énormément entre les itérations. Quelle en est la cause la plus probable ?

Un taux d'apprentissage trop élevé est la cause la plus probable de fluctuations extrêmes de la précision d'entraînement. Un taux d'apprentissage élevé fait que les poids du modèle sont mis à jour de manière trop agressive à chaque itération, ce qui peut entraîner un dépassement de l'optimum et des oscillations importantes de la fonction de perte et de la précision. Un jeu de données avec des étiquettes de classe déséquilibrées affecterait la précision globale ou la capacité du modèle à classer les classes minoritaires, mais ne causerait pas nécessairement des fluctuations extrêmes entre les itérations. Le mélange du jeu de données entre les époques est une bonne pratique pour éviter que le modèle ne mémorise l'ordre des données, mais son désactivation ne provoquerait pas de telles fluctuations. Une taille de mini-lot trop grande lisserait généralement les mises à jour des gradients, rendant les fluctuations moins probables, et pourrait ralentir la convergence ou la piéger dans des minima locaux, mais ne causerait pas des fluctuations extrêmes.