Uma rede neural treinada com gradiente descendente estocástico apresenta perda de treinamento e validação alta e oscilante, que diminui por algumas épocas e depois aumenta repetidamente. Que ação o engenheiro de ML deve tomar para estabilizar e melhorar o treinamento?

A perda de treinamento e validação alta e oscilante que diminui e depois aumenta repetidamente é um forte indicativo de que a taxa de aprendizado é muito alta. Uma taxa de aprendizado excessiva faz com que o otimizador "salte" sobre o mínimo global ou local, resultando em instabilidade e divergência. Diminuir a taxa de aprendizado permite que o otimizador dê passos menores e mais controlados, convergindo de forma mais suave para um mínimo. Aplicar early stopping pode mascarar o problema subjacente da taxa de aprendizado, interrompendo o treinamento antes que a divergência se torne muito severa, mas não resolve a instabilidade. Aumentar o tamanho do conjunto de testes não afeta diretamente a dinâmica de treinamento e a estabilidade do gradiente descendente. Aumentar a taxa de aprendizado agravaria o problema, tornando o treinamento ainda mais instável.