RetailStream LLC ma punkt końcowy klasyfikacji, który zapisuje predykcje do s3://retailstream-capture/predictions/. Posiadają również oznaczone dane referencyjne (ground truth) wygenerowane przez zadanie etykietowania SageMaker Ground Truth, przechowywane jako manifest w s3://retailstream-labels/manifest/. Zespół data-science potrzebuje monitorowania jakości modelu, które porównuje predykcje z prawdziwymi etykietami. Jaki jest prawidłowy sposób dostarczenia danych referencyjnych do SageMaker Model Monitor, aby MonitoringSchedule mógł obliczyć metryki jakości modelu?

Prawidłowa odpowiedź opisuje proces przygotowania danych referencyjnych dla SageMaker Model Monitor. Model Monitor wymaga, aby predykcje i odpowiadające im etykiety referencyjne (ground truth) były dostarczone w jednym pliku lub zestawie plików, z wyraźnie wskazaną kolumną etykiet. Ręczne połączenie tych danych za pomocą zadania SageMaker Processing lub funkcji Lambda, wykorzystując wspólny identyfikator rekordu, jest standardową praktyką. Następnie ten scalony plik jest przechowywany w S3, a Model Monitor jest konfigurowany tak, aby wskazywał na tę lokalizację i atrybut etykiety. Pozostałe opcje są nieprawidłowe, ponieważ: Model Monitor nie łączy automatycznie manifestu etykiet z predykcjami na podstawie odniesienia w przechwytywaniu danych. Wymaga już połączonych danych. Model Monitor nie pobiera predykcji z logów CloudWatch ani nie łączy ich automatycznie z manifestem wyzwalanym przez EventBridge. Model Monitor nie wywnioskuje, jak połączyć rekordy z dwóch oddzielnych prefiksów S3 na podstawie znaczników czasu. Wymaga wstępnie połączonych danych.