Durante o treinamento de um modelo de geração de texto, a perda não converge após várias épocas e a precisão da validação oscila. Para ajudar o modelo a generalizar, qual ajuste é o mais apropriado?

A não convergência da perda e a oscilação da precisão de validação sugerem que o modelo pode estar com dificuldade em encontrar um mínimo estável ou que o treinamento é muito ruidoso. Diminuir a taxa de aprendizado permite passos menores no espaço de pesos, ajudando o modelo a convergir de forma mais suave e a evitar ultrapassar o mínimo. Aumentar o tamanho do mini-batch reduz a variância do gradiente estimado, tornando cada atualização de peso mais representativa do conjunto de dados completo e, consequentemente, mais estável. Aumentar a taxa de aprendizado (opções A e B) tornaria o treinamento ainda mais instável e propenso a divergir. Diminuir o tamanho do mini-batch (opção D) aumentaria a variância do gradiente, o que é contraproducente para a estabilidade.