Model ML w środowisku produkcyjnym, który dotychczas spełniał założone cele, nagle wykazuje pogorszoną wydajność i spada poniżej progów. Jaka jest prawdopodobna przyczyna tego nagłego spadku wydajności?

Dryf w rozkładzie danych produkcyjnych (data drift) jest najbardziej prawdopodobną przyczyną nagłego spadku wydajności modelu, który wcześniej działał poprawnie. Oznacza to, że charakterystyka danych, na których model jest obecnie używany, zmieniła się znacząco w porównaniu do danych, na których był trenowany. Model nie jest już w stanie poprawnie generalizować na nowe, zmienione dane. Brak danych treningowych nie jest przyczyną spadku wydajności już wdrożonego modelu. Ograniczenia zasobów obliczeniowych wpłynęłyby na czas odpowiedzi lub dostępność, a nie na dokładność predykcji. Przeuczenie (overfitting) objawiłoby się słabą wydajnością już na danych walidacyjnych, a nie nagłym spadkiem po pewnym czasie w produkcji.