Um modelo XGBoost tem um bom desempenho em dados de teste, mas sofre de overfitting e tem um desempenho ruim em dados não vistos. Qual ajuste de hiperparâmetro é recomendado para reduzir o overfitting?

Diminuir o valor do parâmetro maxdepth é uma técnica eficaz para reduzir o overfitting em modelos XGBoost. maxdepth controla a profundidade máxima de cada árvore no ensemble. Árvores mais profundas podem aprender relações muito específicas nos dados de treinamento, incluindo ruído, o que leva a um bom desempenho nos dados de teste, mas um desempenho ruim em dados não vistos (overfitting). Ao limitar a profundidade, o modelo se torna mais generalizável. Aumentar maxdepth faria o oposto, exacerbando o overfitting. Alterar o objetivo para binary:logistic é para problemas de classificação binária e não aborda o overfitting diretamente. Diminuir minchildweight tornaria o modelo mais complexo, pois permite que nós se dividam mesmo com poucos exemplos, o que também pode aumentar o overfitting.