Un modello di regressione lineare era in overfitting, quindi hai applicato la regolarizzazione L1. Dopo l'addestramento, ogni peso delle feature è diventato zero. Qual è il miglior passo successivo per migliorare il modello?

La regolarizzazione L1 (Lasso) aggiunge un termine alla funzione di costo che penalizza la somma dei valori assoluti dei pesi dei coefficienti. Un valore elevato per la forza di regolarizzazione (iperparametro lambda) spinge molti pesi a zero, realizzando una selezione delle feature. Se tutti i pesi sono diventati zero, significa che la forza della regolarizzazione L1 è troppo elevata, penalizzando eccessivamente i pesi e rendendo il modello troppo semplice (underfitting). Ridurre la forza della regolarizzazione L1 consentirà ai pesi di assumere valori diversi da zero, permettendo al modello di imparare dalle feature. Aumentare la forza della regolarizzazione L1 peggiorerebbe ulteriormente il problema. Aggiungere la regolarizzazione L2 non risolverebbe il problema principale di una L1 eccessiva.