Um modelo de regressão linear estava sofrendo de overfitting, então você aplicou regularização L1. Após o treinamento, todos os pesos dos atributos se tornaram zero. Qual é o melhor próximo passo para melhorar o modelo?

A regularização L1 força os pesos dos atributos a serem zero, realizando seleção de atributos. Se todos os pesos se tornaram zero, a força da regularização L1 foi excessiva, eliminando a contribuição de todos os atributos e resultando em um modelo inútil (underfitting extremo). Reduzir a força da regularização L1 permitirá que alguns pesos se tornem diferentes de zero, permitindo que o modelo aprenda com os dados. Aumentar a força da regularização L1 agravaria o problema. Adicionar regularização L2, seja grande ou pequena, não resolveria o problema fundamental de uma regularização L1 excessiva que já zerou todos os pesos; a L2 apenas adicionaria uma penalidade diferente, mas a L1 ainda dominaria se for muito forte.