Un modelo de regresión lineal estaba sufriendo de sobreajuste, por lo que aplicaste regularización L1. Después del entrenamiento, todos los pesos de las características se volvieron cero. ¿Cuál es el mejor siguiente paso para mejorar el modelo?

Si todos los pesos de las características se volvieron cero después de aplicar regularización L1, significa que la fuerza de la regularización (el hiperparámetro lambda) fue demasiado alta. La regularización L1, también conocida como Lasso, tiene el efecto de empujar los pesos de las características menos importantes a cero, realizando selección de características. Sin embargo, si es excesivamente fuerte, puede anular la contribución de todas las características, incluso las importantes, resultando en un modelo trivial que predice solo la media (o cero si los datos están centrados). Por lo tanto, el mejor siguiente paso es reducir la fuerza de la regularización L1 para permitir que el modelo aprenda pesos significativos para las características relevantes. Aumentar la fuerza de la regularización L1 empeoraría el problema. Añadir regularización L2 no abordaría directamente el problema de que L1 haya anulado todos los pesos.