Ein neuronales Netzwerk, das mit stochastischem Gradientenabstieg trainiert wurde, zeigt einen hohen, oszillierenden Trainings- und Validierungsverlust, der über einige Epochen abnimmt und dann wiederholt ansteigt. Welche Maßnahme sollte der ML-Ingenieur ergreifen, um das Training zu stabilisieren und zu verbessern?

Ein hoher, oszillierender Verlust, der über Epochen hinweg abnimmt und dann wieder ansteigt, ist ein klassisches Zeichen für eine zu hohe Lernrate beim stochastischen Gradientenabstieg. Die Schritte zur Aktualisierung der Gewichte sind zu groß, wodurch der Algorithmus den optimalen Punkt (Minimum der Verlustfunktion) überspringt und zwischen den Werten hin- und herspringt, anstatt sich zu konvergieren. Eine Verringerung der Lernrate ermöglicht kleinere, stabilere Schritte, die eine sanftere Konvergenz zum Minimum fördern. Die Anwendung von Early Stopping würde das Problem der Oszillation nicht beheben, sondern lediglich das Training beenden, wenn der Validierungsverlust wieder ansteigt, ohne die Ursache zu beheben. Eine Erhöhung der Test-Set-Größe hat keinen direkten Einfluss auf das Trainingsverhalten oder die Lernrate. Eine Erhöhung der Lernrate würde das Problem der Oszillation nur noch verschlimmern.