Una rete neurale addestrata con discesa del gradiente stocastico mostra una perdita di training e di validazione elevata e oscillante che diminuisce per alcune epoche e poi aumenta ripetutamente. Quale azione dovrebbe intraprendere l'ingegnere ML per stabilizzare e migliorare l'addestramento?

Una perdita di training e validazione elevata e oscillante che aumenta ripetutamente è un sintomo comune di un learning rate troppo alto. Un learning rate eccessivo fa sì che l'ottimizzatore "salvi" il minimo, non riuscendo a convergere e causando instabilità e divergenza nella perdita. Diminuire il learning rate permette all'ottimizzatore di fare passi più piccoli e precisi, stabilizzando il processo di training e consentendo alla perdita di diminuire in modo più costante verso un minimo. Applicare l'early stopping sarebbe una soluzione temporanea per fermare il training quando la perdita di validazione inizia ad aumentare, ma non risolverebbe la causa radice dell'instabilità. Aumentare la dimensione del set di test non influirebbe direttamente sulla stabilità del training. Aumentare il learning rate peggiorerebbe ulteriormente il problema, rendendo l'oscillazione e la divergenza ancora più pronunciate.