Mientras se entrena un modelo de generación de texto, la pérdida no converge después de varias épocas y la precisión de validación oscila. Para ayudar al modelo a generalizar, ¿qué ajuste es el más apropiado?

Cuando la pérdida no converge y la precisión de validación oscila, el modelo puede estar teniendo dificultades para encontrar un mínimo estable o generalizar. Disminuir la tasa de aprendizaje reduce el tamaño de los pasos de actualización de los pesos, lo que ayuda al modelo a converger de manera más suave y evita sobrepasar el mínimo. Aumentar el tamaño del mini-lote proporciona una estimación más estable del gradiente, reduciendo el ruido en las actualizaciones y mejorando la generalización. Aumentar la tasa de aprendizaje o disminuir el tamaño del mini-lote (o ambos) probablemente empeoraría la inestabilidad y la oscilación.