Un'azienda finanziaria globale utilizza un modello di regressione gradient boosting per stimare i punteggi di credito dei clienti. Il dataset contiene campi categorici (ad esempio, città e stato dell'abitazione) e campi finanziari registrati in diverse unità (ad esempio, saldi in dollari e interessi in centesimi). L'accuratezza dell'addestramento è del 99%, ma l'accuratezza del test è del 75%. Quali passaggi di pre-elaborazione miglioreranno maggiormente le prestazioni del modello sul set di test?

L'accuratezza del 99% sul training set e del 75% sul test set indica un overfitting significativo. La codifica one-hot dei campi categorici è preferibile alla codifica label per i modelli basati su alberi come il gradient boosting, poiché evita di imporre un ordine numerico arbitrario che potrebbe essere malinterpretato. La standardizzazione dei campi numerici (ad esempio, saldi in dollari e interessi in centesimi) è cruciale perché le diverse scale possono influenzare negativamente l'apprendimento del modello, specialmente quando le unità sono molto diverse. La regolarizzazione L1 (o Lasso) aiuta a ridurre l'overfitting penalizzando i coefficienti grandi, portando a una selezione delle feature e a un modello più semplice. Le altre opzioni presentano tecniche meno appropriate o potenzialmente dannose per questo scenario: la tokenizzazione è per il testo, il binning può perdere informazioni, la codifica label può creare relazioni ordinali inesistenti, e la trasformazione logaritmica è per dati numerici skewati, non categorici.