Een fraudedetectiemodel dat gebruikmaakt van SageMaker's XGBoost past heel goed bij de trainingsdata, maar detecteert fraude niet bij nieuwe, ongeziene transacties. Welke wijziging moet de ML-engineer aanbrengen om de generalisatie naar nieuwe transacties te verbeteren?

Het model presteert goed op trainingsdata maar slecht op nieuwe data, wat duidt op overfitting. Overfitting betekent dat het model te complex is en ruis in de trainingsdata heeft geleerd in plaats van de onderliggende patronen. XGBoost is een boomgebaseerd model. Het verlagen van de maxdepth hyperparameter vermindert de maximale diepte van de individuele bomen, waardoor ze minder complex worden en minder snel overfitten. Dit helpt het model om beter te generaliseren naar ongeziene data. Het verhogen van de learning rate kan de convergentie versnellen, maar vermindert de overfitting niet direct en kan zelfs leiden tot divergentie. Het verwijderen van irrelevante features kan helpen, maar is niet de meest directe oplossing voor een te complex model dat al overfit. Het verhogen van de maxdepth zou de complexiteit van het model juist verder vergroten en het probleem van overfitting verergeren.