Een neuraal netwerk dat is getraind met stochastische gradiëntdaling vertoont een hoge, oscillerende trainings- en validatieverlies dat gedurende een paar epochs afneemt en vervolgens herhaaldelijk toeneemt. Welke actie moet de ML-engineer ondernemen om de training te stabiliseren en te verbeteren?

De learning rate is een cruciale hyperparameter in stochastische gradiëntdaling. Een te hoge learning rate kan ervoor zorgen dat het optimalisatie-algoritme over het optimale minimum heen schiet, wat resulteert in een oscillerend verlies dat niet convergeert of zelfs divergeert. Door de learning rate te verlagen, worden de stapgroottes van de gewichtsupdates kleiner, waardoor het model voorzichtiger naar het minimum kan convergeren en de training stabiliseert. Vroege stopzetting toepassen is een techniek om overfitting te voorkomen, niet om instabiele training door een hoge learning rate te verhelpen. Het vergroten van de testset is nuttig voor een betrouwbaardere evaluatie, maar heeft geen directe invloed op de stabiliteit van het trainingsproces. Het verhogen van de learning rate zou het probleem juist verergeren.