Een lineair model dat real-time advertentie-biedingen voorspelt, is aan het overfitten en het team moet de feature set verkleinen. Welke aanpak zal zowel features verminderen als overfitting voorkomen?

L1-regularisatie (Lasso) voegt een strafterm toe aan de kostenfunctie die evenredig is met de absolute waarde van de coëfficiënten van het model. Dit dwingt sommige coëfficiënten naar nul, waardoor de corresponderende features effectief uit het model worden verwijderd. Dit resulteert in een spaarzamer model en vermindert overfitting door de feature set te verkleinen. L2-regularisatie (Ridge) verkleint de coëfficiënten, maar zet ze zelden op nul, waardoor het de feature set niet expliciet verkleint. Dropout-regularisatie is primair voor neurale netwerken en niet direct toepasbaar op lineaire modellen. Meer trainingsdata kan overfitting verminderen, maar verkleint de feature set niet en is niet altijd beschikbaar.