Uma empresa de varejo executa um modelo diário de previsão de vendas que tem produzido previsões imprecisas nas últimas 3 semanas. Todos os dias, um trabalho do AWS Glue mescla as entradas do modelo, as previsões do modelo e as vendas diárias reais em arquivos que são armazenados no Amazon S3. A equipe de ML identifica que as imprecisões são causadas por mudanças nas distribuições dos valores dos recursos e precisa de uma solução que detecte tal desvio de dados no futuro com o menor overhead operacional. Qual abordagem atende a esse requisito?

A opção correta é usar o Amazon SageMaker Model Monitor com uma linha de base de qualidade de dados. O Model Monitor é projetado especificamente para detectar desvios de dados (drift) e anomalias na qualidade dos dados de entrada de um modelo em produção, o que corresponde ao problema de imprecisão das previsões devido a mudanças nas distribuições dos valores dos recursos. Ao habilitar emitmetrics nas restrições da linha de base, o Model Monitor envia métricas para o Amazon CloudWatch, permitindo a criação de alarmes para notificação automática. A opção de "qualidade do modelo" está incorreta porque o problema é de qualidade dos dados de entrada (feature drift), não de desempenho do modelo em si. O Amazon SageMaker Debugger é usado para depurar modelos durante o treinamento, não para monitorar desvio de dados em produção. Monitorar endpoints do SageMaker com CloudWatch Logs é muito manual e não oferece a detecção automatizada e o baixo overhead operacional que o Model Monitor proporciona para desvio de dados.