Een webbedrijf traint een deep learning multi-class model en ziet 90% nauwkeurigheid op trainingsdata, maar slechts 70% op testdata (overfitting). Welke actie zal het model waarschijnlijk het beste helpen generaliseren om de nauwkeurigheid op validatie- en testsets te maximaliseren vóór implementatie?

Het model vertoont overtraining (overfitting), wat betekent dat het de trainingsdata te goed heeft geleerd en moeite heeft met generaliseren naar nieuwe, ongeziene data. L1- of L2-regularisatie en dropout zijn effectieve technieken om overtraining tegen te gaan. Regularisatie voegt een penalty toe aan de verliesfunctie, wat voorkomt dat gewichten te groot worden en het model complexer maakt. Dropout schakelt willekeurig neuronen uit tijdens de training, waardoor het netwerk minder afhankelijk wordt van specifieke paden en robuuster wordt. Het verhogen van de willekeurigheid bij mini-batches kan helpen, maar is minder direct gericht op overtraining dan regularisatie en dropout. Een groter deel van de dataset toewijzen aan training kan overtraining verergeren, omdat het model dan nog meer data heeft om uit het hoofd te leren. Het verkleinen van de netwerkgrootte kan helpen, maar kan ook leiden tot ondertraining (underfitting) als het model te eenvoudig wordt om de onderliggende patronen te leren.