Um pipeline de ML deve iniciar automaticamente um trabalho de retreinamento sempre que for detectada uma variação de dados (data drift). Como o engenheiro deve configurar o pipeline para detectar a variação e acionar o retreinamento?

A resposta correta é usar o SageMaker Model Monitor para detectar a variação de dados e uma função AWS Lambda para automatizar o retreinamento. O SageMaker Model Monitor é projetado especificamente para monitorar modelos de ML em produção, detectando desvios nos dados de entrada (data drift) ou na qualidade das previsões. Ao detectar um desvio, ele pode emitir eventos para o Amazon EventBridge, que por sua vez pode invocar uma função Lambda. Essa função Lambda pode então iniciar o pipeline de retreinamento. As outras opções são menos adequadas: AWS Glue é uma ferramenta de ETL e catálogo de dados, não otimizada para detecção de data drift em modelos de ML. Amazon Managed Service for Apache Flink é para processamento de streaming em tempo real, não para monitoramento de modelos de ML e detecção de drift. Amazon QuickSight é uma ferramenta de BI e visualização, e sua detecção de anomalias não é o mecanismo principal para monitorar a integridade de modelos de ML em produção.