Ein lineares Modell, das Echtzeit-Werbegebote vorhersagt, ist überangepasst (overfitting), und das Team muss den Feature-Satz reduzieren. Welcher Ansatz reduziert sowohl Features als auch verhindert Overfitting?

L1-Regularisierung (Lasso) fügt dem Kostenfunktions-Term die Summe der Absolutwerte der Koeffizienten hinzu. Dies führt dazu, dass einige Koeffizienten auf exakt Null gesetzt werden, wodurch die entsprechenden Features effektiv aus dem Modell entfernt werden. Dies reduziert die Anzahl der Features und wirkt gleichzeitig der Überanpassung entgegen, indem es die Modellkomplexität verringert. L2-Regularisierung (Ridge) schrumpft die Koeffizienten, setzt sie aber selten auf Null, was die Feature-Anzahl nicht direkt reduziert. Dropout ist eine Regularisierungstechnik, die hauptsächlich in neuronalen Netzen verwendet wird und nicht direkt Features aus einem linearen Modell entfernt. Mehr Trainingsdaten können Überanpassung reduzieren, aber sie reduzieren nicht den Feature-Satz.