Un modèle de régression linéaire affiche une très grande précision sur l'ensemble d'entraînement, mais fonctionne mal sur de nouvelles données non vues. Quelle action l'ingénieur ML doit-il entreprendre pour résoudre ce problème ?

Le modèle souffre de surapprentissage, car il est très précis sur les données d'entraînement mais échoue sur de nouvelles données. La validation croisée permet d'évaluer la performance du modèle sur des sous-ensembles de données pour détecter le surapprentissage, tandis que la régularisation (L1 ou L2) pénalise les poids importants du modèle, réduisant ainsi sa complexité et améliorant sa généralisation. Amazon SageMaker Experiments est un outil essentiel pour suivre et comparer les performances de différentes versions de modèles avec ces techniques. Augmenter la complexité du modèle aggraverait le surapprentissage. Déployer directement le modèle en production sans résoudre le problème est prématuré. Augmenter la taille de l'ensemble de données d'entraînement sans ajuster le modèle pourrait ne pas suffire à résoudre le surapprentissage si le modèle est déjà trop complexe.