Amazon MLS-C01: MLOps, Monitoramento, Rotulagem e Governança de Modelos — Guia de estudos

By Laurynas Brazys · 26 July 2026 · #amazon #mls-c01 #certification #exam-prep #study-guide

Faz parte do AWS Machine Learning Specialty MLS-C01 — Guia de estudos. Pratique com respostas verificadas no centro de exames da Amazon, ou faça testes cronometrados no ExamRoll.io.

Pipelines, CI/CD e Automação

ML em nível de produção exige automação de ponta a ponta que conecta ingestão de dados, validação, treinamento, ajuste, empacotamento de modelos e implantação em pipelines repetíveis. Use o Amazon SageMaker Pipelines para definir etapas para jobs de Processamento (Data Wrangler ou ScriptProcessor), Treinamento (treinamento gerenciado com Distributed Data Parallel ou XGBoost/BlazingText), Ajuste de Hiperparâmetros (HyperparameterTuningJob com métrica de objetivo e StoppingCondition do job de treinamento) e Registro de modelos no SageMaker Model Registry. Integre os Pipelines com o AWS CodePipeline e o CodeBuild para verificações de CI no nível do código e testes de unidade, e use o CloudFormation ou o CDK para provisionar ambientes consistentes. Configure o cache nas etapas para evitar a reexecução de trabalho inalterado e parametrize as entradas do pipeline (prefixos do S3, tipos de instância). Para HPO, não confie apenas no MaxNumberOfTrainingJobs; defina também uma StoppingCondition por job de treinamento (MaxRuntimeInSeconds) e habilite a parada antecipada automatizada onde disponível para evitar custos excessivos. Armadilhas comuns incluem usar o modo File para conjuntos de dados em constante crescimento (mude para o modo Pipe ou treinamento distribuído para grandes conjuntos de dados), não versionar conjuntos de dados e features, e falhar em incluir portões de validação de dados (SageMaker Processing + Deequ ou verificações do Data Wrangler) antes do retreinamento. Os critérios de decisão entre modelos no banco de dados (Redshift ML) e o SageMaker baseiam-se na complexidade do modelo, latência e controle operacional: o Redshift ML é conveniente para modelos XGBoost simples dentro do SQL, enquanto o SageMaker é necessário para redes neurais profundas, arquiteturas personalizadas e endpoints escaláveis.

Monitoramento, Detecção de Drift e Qualidade do Modelo

O monitoramento contínuo deve capturar tanto o desempenho do modelo quanto a qualidade dos dados. Habilite a captura de dados (data capture) dos endpoints de modelo do SageMaker para armazenar requisições e respostas no S3, e então estabeleça uma linha de base da distribuição de treinamento com um job de baseline do SageMaker Model Monitor. Use as verificações integradas do Model Monitor para violações de esquema e métricas de drift univariado; para desvios de distribuição, calcule a divergência KL, o Índice de Estabilidade da População (PSI) ou testes KS e defina alarmes do CloudWatch sobre os limiares de drift. Acompanhe as métricas do modelo — classificação: precisão/recall, ROC AUC, matriz de confusão e FPR/FNR específicos da classe; regressão: RMSE, MAE e MAPE. O Clarify pode executar verificações de viés (bias) e explicabilidade em tempo de pré-treinamento e pós-treinamento e produzir atribuições de features baseadas em SHAP; use o Clarify para detectar disparidades de desempenho em subgrupos (atributos sensíveis). Armadilhas operacionais comuns incluem não capturar o contexto da inferência (mapeamento de features, versão do modelo, ID da requisição), ignorar a latência do rótulo (rótulos atrasados quebram a avaliação oportuna) e confundir desvio de população com desvio de conceito — trate-os de forma diferente (retreinar vs. coletar rótulos e reavaliar features). Para alertas, envie métricas agregadas e indicadores de drift para o CloudWatch e automatize o rollback ou o retreinamento via SageMaker Pipelines quando os limiares forem excedidos.

Rotulagem, Preparação de Dados e Engenharia de Features

Rótulos de qualidade e pipelines de features consistentes são fundamentais. Use o Amazon SageMaker Ground Truth para criar fluxos de trabalho de rotulagem com pré-rotulagem automatizada (rotulagem assistida por modelo), aprendizado ativo e consolidação de anotações; escolha os tipos de trabalhadores (força de trabalho privada, fornecedor ou pública) e configure a verificação de rótulos e métricas para o acordo entre anotadores. Para EDA e transformação, ingira conjuntos de dados no SageMaker Data Wrangler para analisar distribuições, imputar valores ausentes e exportar scripts de processamento para jobs do SageMaker Processing. Persista features online e offline no Amazon SageMaker Feature Store para recuperação consistente em tempo de execução e backfills simples. As decisões de codificação (encoding) dependem da escala e da cardinalidade: categóricas de baixa cardinalidade podem ser codificadas com one-hot; itens de alta cardinalidade (ex: 100 SKUs de produtos) usam target encoding ou embeddings (camadas de embedding do TensorFlow/PyTorch ou algoritmos integrados do SageMaker), e respostas de pesquisa de múltipla escolha são mapeadas para vetores multi-hot. Cuidado com armadilhas comuns como vazamento de rótulo (label leakage) ao anexar metadados diários (inclua janelas de engenharia de features e testes de vazamento), usar o modo File para conjuntos de dados muito grandes no S3 (o modo Pipe transmite registros e suporta treinamento distribuído em múltiplas instâncias) e não versionar transformações — exporte as transformações do Data Wrangler para etapas reutilizáveis de Processing/Training para garantir paridade entre treinamento e inferência.

Explicabilidade, Governança e Escalabilidade de Equipes de ML

Explicabilidade e governança precisam de artefatos acionáveis e trilhas de auditoria. Use o SageMaker Clarify para computar métricas de viés (bias) de pré-treinamento e atribuições de características (feature attributions) de pós-treinamento (SHAP) e armazene os resultados com as entradas do Model Registry. Registre modelos no SageMaker Model Registry com status de aprovação, ModelPackageGroups assinados e portões de promoção (promotion gates) automatizados. Rastreie experimentos e linhagem (lineage) com o SageMaker Experiments e habilite o CloudTrail para auditar chamadas de API. Para técnicas de explicabilidade, prefira a importância de características (feature importance) nativa do modelo para modelos de árvore (SHAP integrado do XGBoost) e use SHAP ou gradientes integrados (integrated gradients) para redes profundas, estando ciente do custo de tempo de execução — pré-calcule as explicações offline para clientes em lote (batch) e exponha resumos para solicitações em tempo real. As melhores práticas de governança incluem model cards com descrições do conjunto de dados, verificações de justiça (fairness) e regras de negócio documentadas, além da aplicação do princípio de menor privilégio (least privilege) do IAM para a implantação de modelos. Para escalar as equipes, modularize os pipelines, crie templates padrão para pré-processamento/validação, centralize o Feature Store e automatize a detecção de desvio (drift) e os gatilhos de retreinamento para que os cientistas de dados se concentrem em melhorias em vez de operações (ops). Armadilhas comuns incluem depender excessivamente da importância de características para determinar causalidade, não manter logs de auditoria para modelos implantados e expor computações de explicabilidade custosas de forma síncrona em endpoints de baixa latência.

Problema Prático: Cenário de Caso de Uso

Cenário: A Acme Manufacturing opera frotas de sensores remotos com conectividade intermitente e usa o AWS IoT e o S3 para agregação central. Seu ambiente de ML na AWS inclui SageMaker, IoT Core, Kinesis Data Streams e dispositivos de borda (edge) habilitados com Greengrass.

Desafio: Fornecer detecção de anomalias de baixa latência em locais remotos quando a conectividade é intermitente, enquanto coleta telemetria para retreinamento centralizado e detecção de desvio (drift) sem o Direct Connect.

Abordagem Recomendada:

Implante um modelo compacto de detecção de anomalias compilado com o SageMaker Neo no AWS IoT Greengrass em dispositivos de borda (edge) para inferência e ações locais em tempo real (alarmes locais, buffer de curto prazo).
Transmita telemetria resumida e flags de anomalia via AWS IoT Core para o Amazon Kinesis Data Streams e use o Kinesis Data Firehose para persistir dados brutos e agregados no S3 (parquet) para armazenamento central.
Construa um SageMaker Pipeline que ingere lotes (batches) do S3, executa jobs de processamento (Processing jobs com Data Wrangler) para computar baselines e engenharia de características (feature engineering), aciona HyperparameterTuningJobs conforme necessário e registra modelos validados no SageMaker Model Registry.
Habilite o SageMaker Model Monitor no endpoint central e agende jobs em lote (batch jobs) que comparam as distribuições coletadas na borda (edge) com os baselines de treinamento (PSI/KL), e use o SageMaker Ground Truth com alertas amostrados para rotulagem humana para fechar o ciclo (close the loop).

Justificativa: A inferência na borda (edge) via Greengrass + Neo garante decisões de baixa latência com conectividade intermitente; o Kinesis + Firehose garante a ingestão confiável e ordenada no S3 para retreinamento; os SageMaker Pipelines e o Model Registry fornecem retreinamento repetível, versionamento e promoção automatizada com verificações de desvio (drift) para manter a qualidade do modelo.

← Segurança · Todos os domínios

Pratique estas questões → · Prática cronometrada no ExamRoll.io →