Een ML-productiemodel dat aan de doelstellingen voldeed, vertoont plotseling verslechterde prestaties en valt onder de drempelwaarden. Wat is een waarschijnlijke oorzaak van deze plotselinge prestatiedaling?

Drift in de distributie van productiedata (data drift) is de meest waarschijnlijke oorzaak. Dit betekent dat de kenmerken van de data waarmee het model nu wordt geconfronteerd, significant zijn veranderd ten opzichte van de data waarmee het is getraind. Het model is hierdoor niet langer in staat om accurate voorspellingen te doen, wat leidt tot een plotselinge prestatiedaling. Gebrek aan trainingsdata is onwaarschijnlijk, aangezien het model eerder wel aan de doelstellingen voldeed. Beperkingen van compute resources zouden de snelheid of beschikbaarheid beïnvloeden, niet direct de voorspellingskwaliteit van een reeds getraind model. Model overfitting leidt tot slechte prestaties op nieuwe, ongeziene data, maar een plotselinge verslechtering van een eerder goed presterend model duidt eerder op een verandering in de inputdata dan op een inherente fout in het model zelf.