Een XGBoost-model presteert goed op testdata, maar overfit en presteert slecht op ongeziene data. Welke hyperparameter-aanpassing wordt aanbevolen om overfitting te verminderen?

Overfitting treedt op wanneer een model te complex is en ruis in de trainingsgegevens leert in plaats van het onderliggende patroon. Een lagere maxdepth beperkt de diepte van elke individuele boom in het XGBoost-model, waardoor het model eenvoudiger wordt en minder snel overfitting vertoont. Het verhogen van de maxdepth zou het model complexer maken en overfitting juist verergeren. Het wijzigen van de objective naar binary:logistic is een aanpassing van de verliesfunctie, wat relevant is voor binaire classificatieproblemen, maar niet direct de complexiteit van het model vermindert om overfitting tegen te gaan. Het verlagen van de minchildweight zou het model toestaan om kleinere splitsingen te maken, wat de complexiteit zou verhogen en overfitting zou kunnen verergeren.