SageMakerのXGBoostを使用すると、不正検出モデルはトレーニングデータには非常によく適合しますが、新しい未知のトランザクションでは不正を検出できません。MLエンジニアは、新しいトランザクションへの汎化を改善するためにどのような変更を行うべきですか？

モデルがトレーニングデータに過度に適合し、新しいデータでパフォーマンスが低下する場合、それは過学習の兆候です。XGBoostのようなツリーベースのモデルでは、maxdepthハイパーパラメータを減らすことで、個々の決定木の複雑さを制限し、モデルがトレーニングデータのノイズに過剰に適合するのを防ぎます。これにより、モデルの汎化能力が向上し、未知のトランザクションでの不正検出性能が改善されます。学習率を上げると過学習が悪化する可能性があり、予測に無関係な特徴を削除することは有効な場合もありますが、maxdepthの調整はツリーベースモデルの過学習対策としてより直接的です。maxdepthを増やすと、ツリーがより複雑になり、過学習が悪化します。