Un modèle linéaire prédisant les enchères publicitaires en temps réel est en surapprentissage et l'équipe doit réduire l'ensemble des caractéristiques. Quelle approche permettra à la fois de réduire les caractéristiques et de prévenir le surapprentissage ?

La régularisation L1 (Lasso) est la bonne approche car elle réduit les caractéristiques et prévient le surapprentissage. Elle ajoute un terme de pénalité proportionnel à la valeur absolue des coefficients du modèle. Cette pénalité peut forcer certains coefficients à devenir exactement zéro, éliminant ainsi les caractéristiques correspondantes et réalisant une sélection de caractéristiques intrinsèque. La régularisation L2 (Ridge) pénalise la somme des carrés des coefficients, ce qui réduit leur magnitude mais ne les force généralement pas à zéro, ne réalisant donc pas de sélection de caractéristiques. La régularisation par dropout est principalement utilisée pour les réseaux de neurones, pas pour les modèles linéaires simples. Ajouter plus de données d'entraînement peut aider à prévenir le surapprentissage, mais cela ne réduit pas l'ensemble des caractéristiques existantes.