Um modelo de regressão linear apresenta alta precisão no conjunto de treinamento, mas tem um desempenho ruim em dados novos e não vistos. Qual ação o engenheiro de ML deve tomar para resolver esse problema?

O problema descrito é o overfitting, onde o modelo memoriza os dados de treinamento em vez de aprender padrões generalizáveis. A validação cruzada ajuda a avaliar o desempenho do modelo em diferentes subconjuntos de dados, fornecendo uma estimativa mais robusta de sua capacidade de generalização. A regularização (L1 ou L2) penaliza coeficientes grandes, impedindo que o modelo se ajuste excessivamente ao ruído nos dados de treinamento. O Amazon SageMaker Experiments é ideal para rastrear e comparar os resultados de diferentes configurações de modelo e hiperparâmetros, facilitando a identificação da melhor solução. Aumentar a complexidade do modelo (primeira opção) agravaria o overfitting. Implantar o modelo diretamente (terceira opção) sem resolver o problema resultaria em desempenho ruim em produção. Aumentar o tamanho do conjunto de dados sem ajustar o modelo (quarta opção) pode não resolver o overfitting se o modelo ainda for muito complexo para os dados ou se os dados adicionais não forem representativos.