Ein lineares Regressionsmodell war überangepasst, daher haben Sie die L1-Regularisierung angewendet. Nach dem Training wurde jedes Feature-Gewicht Null. Was ist der beste nächste Schritt, um das Modell zu verbessern?

Wenn alle Feature-Gewichte nach der L1-Regularisierung Null werden, bedeutet dies, dass die Regularisierungsstärke zu hoch war. L1-Regularisierung (Lasso) hat die Eigenschaft, unwichtige Feature-Gewichte auf Null zu setzen, was zur Feature-Selektion führt. Wenn jedoch alle Gewichte Null sind, wurde das Modell zu stark bestraft und kann keine sinnvollen Beziehungen aus den Daten lernen. Um dies zu beheben, muss die Stärke der L1-Regularisierung reduziert werden. Dadurch wird der Bestrafungsterm verringert, was es dem Modell ermöglicht, wieder nicht-null Gewichte zu lernen und die Überanpassung zu reduzieren, ohne das Modell zu stark zu vereinfachen. Eine Erhöhung der L1-Regularisierung würde das Problem verschärfen. Das Hinzufügen von L2-Regularisierung (Ridge) würde zwar die Gewichte schrumpfen lassen, aber nicht unbedingt auf Null setzen, und würde das Problem der zu starken Bestrafung durch L1 nicht direkt lösen, wenn alle Gewichte bereits Null sind.