Model regresji liniowej wykazywał nadmierne dopasowanie (overfitting), więc zastosowano regularyzację L1. Po trenowaniu wszystkie wagi cech stały się zerowe. Jaki jest najlepszy kolejny krok w celu ulepszenia modelu?

Jeśli wszystkie wagi cech stały się zerowe po zastosowaniu regularyzacji L1, oznacza to, że siła regularyzacji była zbyt duża. Regularyzacja L1 (Lasso) ma tendencję do zerowania wag mniej istotnych cech, co prowadzi do selekcji cech. Gdy siła regularyzacji jest nadmierna, model staje się zbyt prosty, ignorując wszystkie cechy, co skutkuje niedopasowaniem (underfitting) i brakiem zdolności do uczenia się z danych. Zmniejszenie siły regularyzacji L1 pozwoli modelowi na przypisanie niezerowych wag do istotnych cech, co pomoże w lepszym dopasowaniu do danych treningowych, jednocześnie redukując overfitting. Zwiększenie siły regularyzacji L1 pogłębiłoby problem. Dodanie regularyzacji L2, niezależnie od jej wartości, nie rozwiąże problemu zerowych wag spowodowanego nadmierną regularyzacją L1.