Una red neuronal entrenada con descenso de gradiente estocástico muestra una pérdida de entrenamiento y validación alta y oscilante que disminuye durante algunas épocas y luego aumenta repetidamente. ¿Qué acción debería tomar el ingeniero de ML para estabilizar y mejorar el entrenamiento?

Una pérdida de entrenamiento y validación alta y oscilante que disminuye y luego aumenta repetidamente es un signo clásico de una tasa de aprendizaje demasiado alta. Una tasa de aprendizaje excesiva hace que el optimizador "salte" sobre el mínimo, lo que resulta en una convergencia inestable y una pérdida que no se asienta. Disminuir la tasa de aprendizaje permite pasos más pequeños y controlados, lo que ayuda al optimizador a converger de manera más suave y a encontrar un mínimo más estable. Aplicar early stopping podría detener el entrenamiento prematuramente, pero no aborda la causa raíz de la inestabilidad. Aumentar el tamaño del conjunto de pruebas no influye directamente en la estabilidad del entrenamiento. Aumentar la tasa de aprendizaje solo empeoraría el problema.