Beim Trainieren eines Textgenerierungsmodells konvergiert der Loss nach mehreren Epochen nicht und die Validierungsgenauigkeit oszilliert. Welche Anpassung ist am besten geeignet, um dem Modell zu helfen, zu generalisieren?

Eine hohe Lernrate kann dazu führen, dass der Loss oszilliert oder divergiert, da die Modellgewichte zu große Schritte machen und das Minimum überspringen. Eine niedrigere Lernrate ermöglicht kleinere, stabilere Updates und hilft dem Modell, zu konvergieren. Eine zu kleine Mini-Batch-Größe kann zu einem verrauschteren Gradienten führen, was ebenfalls Oszillationen verstärkt und die Generalisierungsfähigkeit beeinträchtigt. Eine größere Mini-Batch-Größe liefert einen stabileren Gradientenschätzer, was die Konvergenz glättet und die Generalisierung verbessert. Die anderen Optionen würden entweder die Oszillationen verstärken oder die Konvergenz erschweren.