Uma empresa de cartão de crédito deseja acelerar o treinamento de um modelo de pontuação de crédito construído a partir de milhares de atributos brutos, muitos dos quais são altamente correlacionados. O treinamento é lento e o modelo sofre de overfitting. Qual técnica de engenharia de atributos reduzirá a dimensionalidade e o tempo de treinamento sem descartar muita informação?

A empresa precisa reduzir a dimensionalidade e o tempo de treinamento, além de combater o overfitting, sem perder muita informação. Autoencoders e PCA são técnicas de redução de dimensionalidade que transformam o conjunto original de atributos em um conjunto menor de novos atributos (componentes principais ou codificações latentes), que capturam a maior parte da variância dos dados. Isso acelera o treinamento e pode mitigar o overfitting. Descartar atributos altamente correlacionados (autocorrelação) pode ser útil, mas pode levar à perda de informações valiosas se a correlação não for perfeitamente linear ou se os atributos descartados contiverem nuances importantes. Normalizar atributos numéricos é uma boa prática, mas não reduz a dimensionalidade. Agrupar dados com k-means e amostrar pontos de cada cluster reduz o tamanho do dataset, mas não a dimensionalidade dos atributos em si, e pode descartar informações importantes.