Het XGBoost-model van een bedrijf in productie vertoont na enkele maanden een aanzienlijke daling in de F1-score, vergeleken met de baselinetreshold die eerder door SageMaker Model Monitor is vastgelegd. Wat is de meest waarschijnlijke oorzaak van de verlaagde F1-score?

De F1-score is een maatstaf die zowel precisie als recall combineert. Een daling in de F1-score van een model in productie na enkele maanden duidt vaak op een verandering in de relatie tussen de inputgegevens en de doelvariabele, wat bekend staat als concept drift. Dit betekent dat de patronen die het model heeft geleerd van de trainingsgegevens niet langer geldig zijn voor de huidige, veranderde klantgegevens. De andere opties zijn minder waarschijnlijk de primaire oorzaak voor een daling na enkele maanden: Een te eenvoudige modelarchitectuur zou al vanaf het begin een lage F1-score hebben opgeleverd, niet pas na maanden. Problemen met datakwaliteit in de basisdataset zouden ook direct bij de initiële evaluatie van het model zijn opgemerkt. Onjuiste ground-truth labels bij de baselineberekening zouden leiden tot een onjuiste baseline, maar niet tot een daling van de F1-score van het model zelf in productie.