Você tem um conjunto de dados tabular com 10.000 linhas e 1.020 features. Não há valores ausentes, poucas duplicatas e cerca de 200 pares de features com correlação > 0,9. As médias das features são semelhantes às medianas. Qual abordagem de engenharia de features você deve aplicar ao treinar um modelo no SageMaker?

A Análise de Componentes Principais (PCA) é a abordagem mais adequada porque o conjunto de dados possui alta dimensionalidade (1.020 features) e muitas features altamente correlacionadas. A PCA reduz a dimensionalidade transformando as features originais em um novo conjunto de componentes principais não correlacionados, capturando a maior parte da variância dos dados e mitigando problemas como multicolinearidade e overfitting, além de melhorar a eficiência computacional. Remover features com baixos scores de correlação não aborda a alta dimensionalidade nem a multicolinearidade. A detecção de anomalias com Random Cut Forest não é uma técnica de engenharia de features para este problema. Concatenar features altamente correlacionadas não resolve o problema da multicolinearidade; na verdade, pode agravá-lo.