Tijdens het trainen van een neuraal netwerk met mini-batches voor een classificatietaak, fluctueert de trainingsnauwkeurigheid wild tussen iteraties. Wat is de meest waarschijnlijke oorzaak?

Een te hoge leersnelheid (learning rate) is de meest waarschijnlijke oorzaak van wilde fluctuaties in trainingsnauwkeurigheid. Een hoge leersnelheid kan ervoor zorgen dat het model overschiet bij het optimaliseren van de gewichten, waardoor het de optimale oplossing mist en de nauwkeurigheid onstabiel wordt. Ongebalanceerde klasselabels kunnen leiden tot een vertekend model, maar veroorzaken meestal geen wilde fluctuaties per iteratie. Het uitschakelen van shuffelen kan leiden tot minder effectieve training, maar niet noodzakelijkerwijs tot wilde schommelingen per iteratie. Een te grote mini-batchgrootte kan de training vertragen en de generalisatie verminderen, maar veroorzaakt doorgaans geen dergelijke instabiliteit in de nauwkeurigheid per iteratie.