Ein XGBoost-Modell funktioniert gut mit Testdaten, überfittet aber und liefert schlechte Ergebnisse bei ungesehenen Daten. Welche Hyperparameter-Anpassung wird empfohlen, um Overfitting zu reduzieren?

Overfitting tritt auf, wenn ein Modell zu komplex ist und das Trainingsrauschen lernt, anstatt die zugrunde liegende Beziehung in den Daten zu erfassen. Eine Verringerung des maxdepth-Parameters in XGBoost reduziert die Komplexität der einzelnen Entscheidungsbäume, indem sie deren Tiefe begrenzt. Flachere Bäume sind weniger anfällig für das Lernen von Rauschen und neigen dazu, besser auf ungesehene Daten zu generalisieren, wodurch Overfitting reduziert wird. Das Erhöhen von maxdepth würde die Modellkomplexität erhöhen und Overfitting verschlimmern. Das Ändern des objective auf binary:logistic ist eine Anpassung an den Problemtyp (binäre Klassifikation) und hat keinen direkten Einfluss auf Overfitting. Das Verringern von minchildweight würde die Modellkomplexität ebenfalls erhöhen, da es mehr Teilungen zulässt, selbst wenn die Kinderknoten nur wenige Instanzen enthalten, was Overfitting fördern würde.