Um modelo XGBoost implantado em um endpoint do SageMaker recebe solicitações de inferência em tempo real por meio de uma função AWS Lambda. A equipe precisa detectar se a precisão do modelo se degrada ao longo do tempo usando dados de entrada em tempo real. Qual solução atende a essa necessidade?

A opção correta é agendar um trabalho do SageMaker Model Monitor. O Amazon SageMaker Model Monitor é projetado especificamente para detectar desvios de dados e desvios de modelo em modelos de machine learning em produção. Ele compara os dados de inferência em tempo real com uma linha de base estatística estabelecida a partir dos dados de treinamento, alertando sobre anomalias. As outras opções são menos eficazes ou incorretas: Um painel do CloudWatch pode monitorar métricas, mas não detecta desvio de modelo automaticamente sem uma lógica complexa personalizada. Modificar a função Lambda para calcular o desvio seria uma solução personalizada e complexa de manter, além de não ser a ferramenta ideal para essa finalidade. O SageMaker Debugger é usado para monitorar e depurar o treinamento do modelo, não para monitoramento de inferência em produção.