Une entreprise financière mondiale utilise un modèle de régression par boosting de gradient pour estimer les scores de crédit des clients. L'ensemble de données contient des champs catégoriels (par exemple, la ville et le statut de logement) et des champs financiers enregistrés dans différentes unités (par exemple, les soldes en dollars et les intérêts en cents). La précision d'entraînement est de 99 %, mais la précision de test est de 75 %. Quelles étapes de prétraitement amélioreront le plus les performances du modèle en test ?

L'encodage one-hot est idéal pour les caractéristiques catégorielles nominales comme la ville ou le statut de logement, car il évite d'introduire un ordre arbitraire. La standardisation des champs numériques financiers (soldes, intérêts) est cruciale car ils sont dans des unités différentes et ont des échelles variées, ce qui peut biaiser les algorithmes basés sur la distance ou les gradients. La régularisation L1 (Lasso) est efficace pour réduire le surapprentissage (overfitting) en pénalisant les coefficients des caractéristiques, pouvant même les réduire à zéro, ce qui simplifie le modèle et améliore la généralisation. Les autres options sont moins efficaces : la tokenisation ou l'encodage par étiquette peuvent créer un ordre artificiel pour les catégories nominales. Le regroupement en bins des champs financiers peut entraîner une perte d'informations. La suppression des valeurs aberrantes par score z peut être trop agressive et la régularisation L2 seule n'est pas aussi efficace pour la sélection de caractéristiques que L1. La transformation logarithmique est pour les données numériques asymétriques, pas pour les champs catégoriels.