Il modello XGBoost di un'azienda in produzione mostra un calo significativo del punteggio F1 dopo diversi mesi, rispetto alla soglia di riferimento registrata in precedenza da SageMaker Model Monitor. Qual è la causa più probabile della riduzione del punteggio F1?

Il calo del punteggio F1 nel tempo è un classico sintomo di concept drift. Questo fenomeno si verifica quando la relazione tra le variabili di input e la variabile target cambia nel tempo, rendendo il modello obsoleto e meno accurato sulle nuove osservazioni. Le altre opzioni sono meno probabili: un'architettura troppo semplice avrebbe mostrato prestazioni scadenti fin dall'inizio, non un calo graduale. Problemi di qualità dei dati nel dataset di riferimento avrebbero influenzato la baseline iniziale, non causato un deterioramento nel tempo. Etichette ground-truth errate per Model Monitor porterebbero a una valutazione errata della baseline, ma non spiegherebbero un calo effettivo delle prestazioni del modello.