Ao treinar uma rede neural com mini-batches para uma tarefa de classificação, a precisão do treinamento flutua descontroladamente entre as iterações. Qual é a causa mais provável?

Uma taxa de aprendizado (learning rate) muito alta é a causa mais provável de flutuações descontroladas na precisão do treinamento. Uma taxa de aprendizado excessivamente alta faz com que os pesos da rede neural sejam atualizados em passos muito grandes, saltando sobre o mínimo da função de perda e resultando em um comportamento instável e errático durante o treinamento. Um conjunto de dados com rótulos de classe desequilibrados pode levar a um modelo que favorece a classe majoritária, mas geralmente não causa flutuações descontroladas na precisão. A desativação da randomização do conjunto de dados entre as épocas pode fazer com que o modelo memorize a ordem dos dados, mas também não é a causa principal de flutuações abruptas. Um tamanho de mini-batch muito grande pode suavizar o gradiente e levar a um treinamento mais lento ou a um mínimo local subótimo, mas não a flutuações descontroladas.