Un modelo XGBoost de una empresa en producción muestra una caída significativa en la puntuación F1 después de varios meses, en comparación con el umbral de referencia registrado anteriormente por SageMaker Model Monitor. ¿Cuál es la causa más probable de la reducción de la puntuación F1?

La caída en la puntuación F1 después de varios meses, detectada por SageMaker Model Monitor, es un indicador clásico de concept drift. Esto ocurre cuando la relación entre las características de entrada y la variable objetivo cambia con el tiempo, lo que significa que el modelo, entrenado con datos antiguos, ya no es preciso para los datos actuales. Las otras opciones son menos probables: Si la arquitectura original del modelo fuera demasiado simple, la baja puntuación F1 se habría observado desde el principio, no después de varios meses. Los problemas de calidad de datos en el conjunto de datos de referencia afectarían el rendimiento inicial del modelo, no causarían una degradación gradual con el tiempo. Las etiquetas de ground-truth incorrectas en el monitoreo afectarían la medición de la puntuación F1, pero no la capacidad real del modelo para hacer predicciones correctas, ni explicarían una caída gradual.