Un modèle XGBoost fonctionne bien sur les données de test, mais surapprend et fonctionne mal sur des données non vues. Quel ajustement d'hyperparamètre est recommandé pour réduire le surapprentissage ?

Un modèle qui fonctionne bien sur les données de test mais mal sur des données non vues indique un surapprentissage. Diminuer la valeur du paramètre maxdepth réduit la complexité de chaque arbre dans le modèle XGBoost, ce qui aide à prévenir le surapprentissage en limitant la capacité du modèle à mémoriser le bruit des données d'entraînement. Augmenter maxdepth rendrait les arbres plus profonds et plus complexes, aggravant le surapprentissage. Changer l'objectif en binary:logistic est un paramètre lié au type de problème (classification binaire) et non à la régularisation pour le surapprentissage. Diminuer minchildweight rendrait le modèle plus sensible aux échantillons individuels, ce qui peut également augmenter le surapprentissage.