Durante l'addestramento di una rete neurale con mini-batch per un'attività di classificazione, l'accuratezza dell'addestramento fluttua selvaggiamente tra le iterazioni. Qual è la causa più probabile?

Un tasso di apprendimento troppo alto è la causa più probabile di fluttuazioni selvagge nell'accuratezza dell'addestramento. Un tasso di apprendimento eccessivo fa sì che gli aggiornamenti dei pesi della rete siano troppo grandi, portando il modello a "saltare" il minimo ottimale nella funzione di perdita e a convergere in modo instabile o a divergere completamente. Un dataset con etichette di classe sbilanciate può causare bias, ma non necessariamente fluttuazioni selvagge nell'accuratezza dell'addestramento. La disabilitazione della riorganizzazione del dataset tra le epoche può portare a un overfitting su un ordine specifico dei dati, ma non a fluttuazioni così estreme. Una dimensione del mini-batch troppo grande può rallentare l'addestramento e portare a una convergenza verso minimi locali meno ottimali, ma non causa le stesse fluttuazioni erratiche di un tasso di apprendimento troppo alto.