Utrzymujesz produkcyjny punkt końcowy modelu z automatycznym monitorowaniem jakości modelu. Po zgłoszeniu naruszeń przez system monitorowania, ponownie trenujesz model, używając zestawu danych odzwierciedlającego bieżący ruch produkcyjny, wdrażasz nowy model i uruchamiasz pierwsze zadanie monitorowania. Naruszenia nadal występują na punkcie końcowym. Co należy zrobić, aby rozwiązać zgłoszone naruszenia?

Poprawna odpowiedź to ponowne obliczenie punktu odniesienia monitorowania. Kiedy model jest ponownie trenowany na nowych danych, jego charakterystyka rozkładu danych może się zmienić. Aby monitorowanie jakości modelu było skuteczne, punkt odniesienia (baseline) musi odzwierciedlać te nowe charakterystyki. Uruchomienie zadania bazowego na nowych danych treningowych pozwala na ustalenie nowego, aktualnego punktu odniesienia, co jest kluczowe do prawidłowego wykrywania dryfu danych lub innych problemów. Ręczne ponowne uruchomienie zadania monitorowania bez aktualizacji punktu odniesienia nie rozwiąże problemu, ponieważ monitor nadal będzie porównywał bieżące dane z nieaktualnym punktem odniesienia. Usunięcie i ponowne utworzenie punktu końcowego nie wpłynie na konfigurację monitorowania ani na punkt odniesienia. Ponowne trenowanie modelu na połączonym zestawie danych jest krokiem w procesie aktualizacji modelu, ale samo w sobie nie rozwiązuje problemu naruszeń monitorowania, jeśli punkt odniesienia nie zostanie zaktualizowany.