Usando o XGBoost do SageMaker, um modelo de detecção de fraude se ajusta muito bem aos dados de treinamento, mas falha em detectar fraudes em transações novas e nunca vistas. Que mudança o engenheiro de ML deve fazer para melhorar a generalização para novas transações?

O modelo está com alto desempenho nos dados de treinamento, mas falha em dados novos, indicando overfitting. Diminuir o maxdepth (profundidade máxima da árvore) reduz a complexidade do modelo, tornando as árvores mais simples e menos propensas a memorizar o ruído dos dados de treinamento. Isso melhora a capacidade de generalização para transações não vistas. Aumentar a taxa de aprendizado ou o maxdepth aumentaria ainda mais a complexidade e o overfitting. Remover características irrelevantes é uma boa prática, mas a redução da complexidade via maxdepth é uma medida mais direta para combater o overfitting em modelos baseados em árvores.