FinTrust Inc. szkoli tabelaryczny model wykrywania oszustw i przechowuje plik CSV z danymi treningowymi w lokalizacji s3://fintrust-training/transactions/. Zespół platformy ML musi utworzyć punkt odniesienia jakości danych (statystyki i ograniczenia) dla SageMaker Model Monitor na podstawie danych treningowych, aby codzienne monitorowanie schematu i rozkładów danych wejściowych wnioskowania produkcyjnego mogło ostrzegać o dryfcie. Jaki jest najbardziej odpowiedni i wymagający minimalnego wysiłku sposób na stworzenie punktu odniesienia Model Monitor, który nadaje się do użytku przez MonitoringSchedule?

Prawidłowa odpowiedź to uruchomienie DefaultModelMonitor.suggestbaseline (SageMaker Python SDK) lub wywołanie równoważnego CreateProcessingJob. Jest to najbardziej odpowiednie i wymaga minimalnego wysiłku, ponieważ SageMaker Model Monitor jest zaprojektowany do automatycznego generowania statystyk i ograniczeń (constraints) na podstawie danych treningowych. Używa on wbudowanego kontenera do analizy danych i zapisuje wynikowy punkt odniesienia w formacie zrozumiałym dla MonitoringSchedule. Pozostałe opcje są mniej efektywne: Włączenie przechwytywania danych na punkcie końcowym produkcyjnym i generowanie punktu odniesienia bez danych treningowych jest nieprawidłowe, ponieważ punkt odniesienia powinien odzwierciedlać dane, na których model był trenowany. Użycie AWS Glue do obliczania statystyk i ręczna konwersja do formatu JSON ograniczeń Model Monitor jest zbyt pracochłonne i podatne na błędy. Użycie Amazon Athena i CloudWatch do niestandardowych metryk nie jest przeznaczone do tworzenia kompleksowego punktu odniesienia dla Model Monitor, który obejmuje statystyki i ograniczenia schematu.