Een lineair regressiemodel vertoont een zeer hoge nauwkeurigheid op de trainingsset, maar presteert slecht op nieuwe, ongeziene data. Welke actie moet de ML engineer ondernemen om dit probleem aan te pakken?

Het probleem van hoge nauwkeurigheid op de trainingsset maar slechte prestaties op nieuwe data duidt op overfitting. Cross-validatie helpt om de modelprestaties op ongeziene data beter in te schatten en overfitting te detecteren. Regularisatie (bijv. L1 of L2) vermindert de complexiteit van het model door grote coëfficiënten te bestraffen, wat overfitting tegengaat. Amazon SageMaker Experiments is een geschikte tool om de resultaten van verschillende modelversies en hyperparameterinstellingen, inclusief die met regularisatie, te volgen en te vergelijken, zodat de beste oplossing kan worden gekozen. De andere opties zijn minder effectief: Het verhogen van de modelcomplexiteit zou overfitting verergeren. Het direct implementeren van een overfit model in productie is onverstandig. Het vergroten van de trainingsdataset kan helpen, maar zonder regularisatie of een complexer model aan te passen, kan overfitting nog steeds optreden.