Un ingegnere di machine learning che prepara i dati per un modello di classificazione nota che alcune feature numeriche continue hanno valori molto più grandi di altre. Un esperto di dominio conferma che le feature sono informative e che il dataset è rappresentativo. L'accuratezza del modello addestrato è inferiore alle aspettative. Quale passaggio di pre-elaborazione migliorerà maggiormente l'accuratezza dell'inferenza?

Normalizzare le feature con valori sproporzionatamente grandi è la soluzione migliore. Molti algoritmi di machine learning, in particolare quelli basati sulla distanza come le SVM o le reti neurali, sono sensibili alla scala delle feature. Se alcune feature hanno un range di valori molto più ampio di altre, potrebbero dominare la funzione di costo, portando il modello a dare loro un peso eccessivo e a ignorare l'impatto di feature con valori più piccoli ma comunque informativi. La normalizzazione (ad esempio, Min-Max Scaling o Standard Scaling) riduce tutte le feature a un intervallo o una distribuzione simile, consentendo al modello di imparare in modo più efficace da tutte le feature. Il bootstrap è una tecnica di ricampionamento per stimare la distribuzione di una statistica, non per la pre-elaborazione delle feature. Rimuovere le feature con valori grandi è sconsigliato, poiché l'esperto di dominio ha confermato che sono informative. Creare feature sintetiche estrapolate è una tecnica avanzata che non risolve direttamente il problema della scala e potrebbe introdurre complessità non necessarie o rumore.