Podczas trenowania sieci neuronowej z użyciem mini-paczek dla zadania klasyfikacji, dokładność treningowa gwałtownie waha się między iteracjami. Jaka jest najbardziej prawdopodobna przyczyna?

Gwałtowne wahania dokładności treningowej między iteracjami, szczególnie w przypadku mini-paczek, są klasycznym objawem zbyt wysokiego współczynnika uczenia. Zbyt duży współczynnik powoduje, że optymalizator "przeskakuje" optymalne minimum funkcji straty, co prowadzi do niestabilności i nieregularnych zmian w dokładności. Niezbalansowane etykiety klas mogłyby prowadzić do niskiej dokładności dla klas mniejszościowych, ale niekoniecznie do gwałtownych wahań w każdej iteracji. Wyłączenie mieszania danych między epokami mogłoby spowolnić konwergencję lub prowadzić do uczenia się kolejności danych, ale niekoniecznie do niestabilności iteracji. Zbyt duży rozmiar mini-paczki zazwyczaj prowadzi do wolniejszej konwergencji i mniejszej szansy na ugrzęźnięcie w lokalnych minimach, ale nie do gwałtownych wahań.