Beim Training eines neuronalen Netzes mit Mini-Batches für eine Klassifizierungsaufgabe schwankt die Trainingsgenauigkeit zwischen den Iterationen stark. Was ist die wahrscheinlichste Ursache?

Eine zu hohe Lernrate ist die wahrscheinlichste Ursache für stark schwankende Trainingsgenauigkeit. Eine hohe Lernrate führt dazu, dass die Modellgewichte bei jeder Aktualisierung zu große Schritte machen, was dazu führen kann, dass der Optimierungsalgorithmus den optimalen Punkt überspringt und die Verlustfunktion nicht konvergiert oder sogar divergiert. Dies äußert sich in unregelmäßigen Schwankungen der Genauigkeit. Unaussagekräftige Klassenlabels können die Gesamtgenauigkeit beeinträchtigen, verursachen aber nicht unbedingt starke Schwankungen zwischen den Iterationen. Ein deaktiviertes Mischen des Datensatzes kann zu einer suboptimalen Konvergenz führen, aber nicht zu so extremen Schwankungen. Eine zu große Mini-Batch-Größe kann die Konvergenz verlangsamen und zu einem schlechteren Generalisierungsvermögen führen, aber nicht zu starken Schwankungen der Genauigkeit.