Model ML wdrożony za pomocą Amazon SageMaker używa Model Monitor. Po zaktualizowaniu modelu inżynier ML obserwuje błędy jakości danych w kontrolach Model Monitor. Jakie działanie powinien podjąć inżynier, aby rozwiązać problemy z jakością danych zgłoszone przez Model Monitor?

Gdy Model Monitor zgłasza błędy jakości danych po aktualizacji modelu, oznacza to, że bieżąca linia bazowa (baseline) używana do monitorowania nie odzwierciedla już poprawnie charakterystyki danych, które model otrzymuje w produkcji. Generowanie nowej linii bazowej z najnowszego zestawu danych produkcyjnych i skonfigurowanie Model Monitora do jej używania jest kluczowe, ponieważ linia bazowa definiuje oczekiwane statystyki i ograniczenia danych. Bez aktualnej linii bazowej, monitor może błędnie interpretować normalne zmiany w danych jako błędy. Dostosowanie parametrów modelu lub dodanie danych treningowych to działania związane z wydajnością modelu, a nie z kalibracją monitorowania jakości danych. Ręczne zadanie Model Monitora bez aktualizacji linii bazowej jedynie powtórzy te same błędne alerty.