Модель обнаружения мошенничества, использующая XGBoost в SageMaker, очень хорошо соответствует обучающим данным, но не может обнаружить мошенничество в новых, ранее не встречавшихся транзакциях. Какое изменение должен внести ML-инженер, чтобы улучшить обобщение на новые транзакции?

Модель, которая хорошо работает на обучающих данных, но плохо на новых, демонстрирует переобучение. XGBoost — это ансамблевый метод, состоящий из деревьев решений. Уменьшение гиперпараметра maxdepth снижает сложность отдельных деревьев, делая модель менее склонной к запоминанию шума в обучающих данных и улучшая ее способность к обобщению. Увеличение learning rate может ускорить обучение, но не обязательно решит проблему переобучения. Удаление нерелевантных признаков может помочь, но уменьшение maxdepth является более прямым способом контроля сложности модели. Увеличение maxdepth сделает деревья еще более глубокими и сложными, усугубляя переобучение.