Mientras se entrena una red neuronal con mini-lotes para una tarea de clasificación, la precisión del entrenamiento fluctúa descontroladamente entre iteraciones. ¿Cuál es la causa más probable?

Una tasa de aprendizaje demasiado alta es la causa más probable de fluctuaciones descontroladas en la precisión del entrenamiento. Una tasa de aprendizaje excesiva hace que el optimizador dé pasos demasiado grandes en el espacio de parámetros, sobrepasando los mínimos y provocando inestabilidad en el proceso de entrenamiento. Un conjunto de datos con etiquetas de clase desequilibradas podría afectar la precisión general o el rendimiento en clases minoritarias, pero no causaría fluctuaciones erráticas entre iteraciones. Deshabilitar la aleatorización del conjunto de datos entre épocas podría llevar a un sobreajuste o a un entrenamiento menos robusto, pero no a una inestabilidad tan marcada en la precisión iteración a iteración. Un tamaño de mini-lote demasiado grande tiende a suavizar el gradiente y puede ralentizar la convergencia o hacer que el modelo se estanque en mínimos locales, pero no suele generar fluctuaciones descontroladas.