Vous disposez d'un ensemble de données tabulaires de 10 000 lignes et 1 020 caractéristiques. Il n'y a pas de valeurs manquantes, peu de doublons et environ 200 paires de caractéristiques avec une corrélation > 0,9. Les moyennes des caractéristiques sont similaires aux médianes. Quelle approche d'ingénierie des caractéristiques devriez-vous appliquer lors de l'entraînement d'un modèle dans SageMaker ?

L'Analyse en Composantes Principales (ACP) est la meilleure approche car elle est conçue pour réduire la dimensionnalité en transformant un grand ensemble de variables corrélées en un ensemble plus petit de variables non corrélées, appelées composantes principales. Étant donné que l'ensemble de données contient 1020 caractéristiques avec 200 paires ayant une corrélation supérieure à 0,9, l'ACP est idéale pour gérer cette forte multicolinéarité et réduire le bruit, améliorant ainsi les performances du modèle et réduisant les coûts de calcul. Supprimer les caractéristiques avec de faibles scores de corrélation n'est pas optimal car cela pourrait éliminer des informations utiles. La détection d'anomalies n'est pas une technique d'ingénierie des caractéristiques pour ce problème. Concaténer des caractéristiques fortement corrélées ne résoudrait pas le problème de la multicolinéarité et pourrait même l'aggraver.