Usando XGBoost de SageMaker, un modelo de detección de fraude se ajusta muy bien a los datos de entrenamiento, pero falla en detectar fraude en transacciones nuevas y no vistas. ¿Qué cambio debería hacer el ingeniero de ML para mejorar la generalización a nuevas transacciones?

El modelo se ajusta muy bien a los datos de entrenamiento pero falla en datos nuevos, lo que indica sobreajuste (overfitting). Disminuir el hiperparámetro maxdepth reduce la complejidad de los árboles individuales en XGBoost, lo que a su vez reduce la capacidad del modelo para memorizar el ruido en los datos de entrenamiento y mejora su capacidad de generalización a datos no vistos. Aumentar la learning rate (tasa de aprendizaje) o maxdepth aumentaría aún más la complejidad del modelo y el sobreajuste. Eliminar características irrelevantes puede ayudar, pero disminuir maxdepth aborda directamente la complejidad del modelo en un escenario de sobreajuste.