При обучении нейронной сети с использованием мини-батчей для задачи классификации точность обучения сильно колеблется между итерациями. Какова наиболее вероятная причина?

Высокая скорость обучения может привести к тому, что веса модели будут обновляться слишком агрессивно, перескакивая через оптимальные значения и вызывая значительные колебания точности обучения между итерациями. Это затрудняет сходимость модели. Несбалансированные метки классов могут привести к низкой точности для миноритарных классов, но обычно не вызывают сильных колебаний точности обучения в целом. Отсутствие перемешивания данных между эпохами может привести к тому, что модель будет видеть одни и те же последовательности данных в каждом эпохе, что может вызвать застревание в локальных минимумах, но не обязательно сильные колебания точности на каждой итерации. Слишком большой размер мини-батча обычно приводит к более стабильным, но медленным обновлениям весов, а не к сильным колебаниям.