RetailStream LLC имеет конечную точку классификации, которая сохраняет предсказания в s3://retailstream-capture/predictions/. У них также есть размеченные эталонные данные (ground truth), полученные в результате задания по разметке SageMaker Ground Truth и хранящиеся в виде манифеста в s3://retailstream-labels/manifest/. Команде по обработке данных требуется мониторинг качества модели, который сравнивает предсказания с истинными метками. Каков правильный способ предоставить эталонные данные в SageMaker Model Monitor, чтобы MonitoringSchedule мог вычислять метрики качества модели?

Правильный ответ описывает необходимый процесс для SageMaker Model Monitor. Model Monitor требует, чтобы предсказания модели и соответствующие им истинные метки находились в одном файле или наборе данных для вычисления метрик качества модели. Создание задания SageMaker Processing (или Lambda) для объединения этих данных по общему идентификатору записи и сохранение объединенного файла в S3 — это стандартный подход. Затем Model Monitor может быть настроен для использования этого объединенного местоположения S3, где атрибут метки будет указывать на столбец истинных меток. Остальные варианты неверны, потому что: Model Monitor не объединяет автоматически данные из разных источников S3 или манифестов Ground Truth. Model Monitor не получает предсказания из логов CloudWatch и не объединяет их с манифестом. Model Monitor не может автоматически объединять записи, сопоставляя временные метки, если данные не были предварительно объединены.