Une entreprise web entraîne un modèle de deep learning multi-classes et observe une précision de 90 % sur les données d'entraînement, mais seulement de 70 % sur les données de test (surapprentissage). Pour maximiser la précision sur les ensembles de validation et de test avant le déploiement, quelle action est la plus susceptible d'aider le modèle à mieux généraliser ?

Le surapprentissage se produit lorsque le modèle apprend trop bien les données d'entraînement, y compris le bruit, et ne parvient pas à généraliser aux nouvelles données. La régularisation L1 et L2 pénalise les poids importants du modèle, ce qui encourage des modèles plus simples. Le dropout désactive aléatoirement des neurones pendant l'entraînement, forçant le réseau à apprendre des représentations plus robustes et moins dépendantes de neurones spécifiques. Ces techniques sont conçues pour améliorer la généralisation. Augmenter le caractère aléatoire des mini-lots peut aider à la convergence mais ne résout pas directement le surapprentissage. Allouer plus de données à l'entraînement pourrait aggraver le surapprentissage si le modèle est déjà trop complexe. Réduire la taille du réseau est une option, mais la régularisation et le dropout sont souvent plus efficaces pour affiner la complexité sans sacrifier la capacité d'apprentissage.