Конвейер машинного обучения должен автоматически запускать задачу переобучения при обнаружении дрейфа данных. Как инженер должен настроить конвейер для обнаружения дрейфа и запуска переобучения?

SageMaker Model Monitor специально разработан для обнаружения дрейфа данных и дрейфа модели в производственных моделях машинного обучения. Он может непрерывно анализировать данные, поступающие в модель, и сравнивать их с базовой линией, установленной во время обучения. При обнаружении дрейфа Model Monitor может генерировать события Amazon CloudWatch Events, которые, в свою очередь, могут вызывать функцию AWS Lambda. Эта функция Lambda может быть настроена для запуска конвейера переобучения, обеспечивая автоматическое реагирование на дрейф данных. Другие варианты не подходят: AWS Glue crawler и ETL в основном используются для каталогизации и преобразования данных, а не для мониторинга дрейфа данных в реальном времени для моделей ML. Amazon Managed Service for Apache Flink предназначен для обработки потоковых данных в реальном времени, но не имеет встроенных возможностей для обнаружения дрейфа модели ML. Обнаружение аномалий Amazon QuickSight ориентировано на бизнес-аналитику и визуализацию, а не на мониторинг производительности моделей ML.