Tijdens het trainen van een tekstgeneratiemodel convergeert het verlies na verschillende epochs niet en schommelt de validatienauwkeurigheid. Welke aanpassing is het meest geschikt om het model te helpen generaliseren?

Het verlagen van de learning rate helpt het model om stabielere updates te maken en voorkomt dat het over optimale punten heen schiet, wat kan leiden tot schommelingen in de validatienauwkeurigheid. Een te hoge learning rate kan ervoor zorgen dat het verlies divergeert of schommelt. Het verhogen van de mini-batch size zorgt voor een stabielere gradiëntschatting, omdat deze gebaseerd is op meer voorbeelden. Dit vermindert de ruis in de gradiënt en helpt het model om beter te generaliseren. Het verhogen van de learning rate (opties 1 en 2) zou de convergentieproblemen waarschijnlijk verergeren. Het verkleinen van de mini-batch size (opties 1 en 4) kan leiden tot luidruchtigere gradiëntschattingen, wat de convergentie en generalisatie kan belemmeren.