Amazon MLS-C01: Modelagem — Supervisionada e Não Supervisionada (ML Clássico) — Guia de estudos
Faz parte do AWS Machine Learning Specialty MLS-C01 — Guia de estudos. Pratique com respostas verificadas no centro de exames da Amazon, ou faça testes cronometrados no ExamRoll.io.
Escolha do modelo e arquitetura para problemas supervisionados
A seleção de um modelo começa com o formato dos dados e as restrições de produção. Para um sinal linear com muitos exemplos e coeficientes interpretáveis, a regressão linear ou logística regularizada (SageMaker LinearLearner ou scikit-learn ElasticNet) é rápida e produz coeficientes que você pode inspecionar. Quando interações não lineares dominam, ensembles de árvores como XGBoost (contêiner SageMaker XGBoost) ou LightGBM capturam a heterogeneidade sem a necessidade de um escalonamento pesado de features; ajuste eta (learning_rate), max_depth, subsample, colsample_bytree e a regularização alpha/lambda para controlar o overfitting. SVMs podem ser eficazes em conjuntos de features de pequeno a médio porte e bem escalonados, mas normalmente exigem contêineres personalizados ou o ScriptMode do scikit-learn no SageMaker, pois grandes conjuntos de dados são caros; lembre-se de padronizar as features e escolher o kernel/regularização (C, gamma) com cuidado. O Naive Bayes é uma linha de base (baseline) rápida para entradas categóricas/de texto esparsas e de alta dimensionalidade; ele pressupõe independência condicional e falha quando as correlações são fortes. Para milhares de features ou conjuntos de dados muito grandes, use redução de dimensionalidade (PCA) ou feature hashing e prefira o treinamento distribuído em instâncias ml.c5 ou ml.p3 se estiver usando redes neurais profundas (deep nets) baseadas em GPU. Faça o deploy com SageMaker endpoints para inferência em tempo real ou com o Batch Transform para previsões em lote; use Multi-Model Endpoints ao manter muitos modelos para reduzir custos.
Métricas, desbalanceamento, calibração e trade-offs de implantação
A acurácia é sedutora, mas enganosa em problemas desbalanceados; prefira métricas sensíveis às classes, como precisão (precision), recall, F1, ROC AUC para dar ênfase a classes balanceadas, e PR AUC quando a classe positiva é rara. Ao produzir probabilidades, verifique a calibração com diagramas de confiabilidade (reliability diagrams) e Brier score; use a escala de Platt (Platt scaling) ou a calibração isotônica (isotonic calibration) implementada offline (scikit-learn CalibratedClassifierCV) ou calibre dentro do treinamento do SageMaker, gerando scores brutos e aplicando uma etapa de pós-processamento. Para lidar com o desbalanceamento de classes, prefira a ponderação de amostras (sample weighting) (suportada no SageMaker LinearLearner e em muitos scripts de treinamento), oversampling direcionado (SMOTE) ou undersampling durante o treinamento, e a reponderação da perda (loss re-weighting) ou focal loss para redes neurais. Para pontuação quase em tempo real de probabilidades de fraude, otimize a latência do modelo usando um tipo de instância com baixa latência de inferência (ml.m5.large ou instâncias otimizadas para CPU), mantenha os modelos compactos (faça poda ou use modelos destilados) e use multi-model endpoints ou o desvio de tráfego A/B (A/B traffic shifting) via SageMaker endpoints para implementar atualizações com segurança. Monitore o desvio (drift) em produção e a qualidade dos dados com o SageMaker Model Monitor e automatize o registro de métricas no CloudWatch.
Engenharia de features, multicolinearidade e regularização
A multicolinearidade infla a variância das estimativas dos coeficientes em modelos lineares; detecte-a com o fator de inflação da variância (VIF) e a correlação de Pearson par a par, e mitigue-a removendo features redundantes ou usando redução de dimensionalidade (PCA, SVD). A regularização é uma solução fundamentada: L2 (Ridge) encolhe os coeficientes, L1 (Lasso) induz esparsidade para seleção de features, e o ElasticNet combina ambos — estes estão disponíveis no scikit-learn e no SageMaker LinearLearner. Para features numéricas com forte assimetria (skewness), aplique transformações logarítmicas ou de Box-Cox para estabilizar a variância e melhorar o ajuste de modelos lineares; lembre-se de que ensembles de árvores são robustos a transformações monotônicas, enquanto SVMs e redes neurais precisam de entradas padronizadas (StandardScaler) para um treinamento estável. Features categóricas de alta cardinalidade se beneficiam de target encoding, embeddings ou hashing; ao usar target encoding, evite o vazamento de dados (leakage) calculando as codificações dentro das dobras (folds) da validação cruzada ou usando um conjunto de dados de validação (holdout) separado. Use o SageMaker Feature Store para centralizar e servir transformações de features consistentes tanto para o treinamento quanto para a inferência, e persista o código de pré-processamento com pacotes de modelo ou imagens Docker para que as transformações em produção correspondam às do treinamento.
Métodos não supervisionados, clusterização, detecção de anomalias e interpretabilidade
Clusterização e detecção de anomalias são ferramentas exploratórias e etapas de pré-processamento para modelagem supervisionada. O K-means (SageMaker k-means) é rápido, mas assume clusters esféricos e exige features escalonadas; escolha o valor de k com pontuações de silhueta (silhouette scores) ou gráficos de cotovelo (elbow plots) com cautela, pois a inércia pode ser ambígua. Métodos baseados em densidade (DBSCAN) e clusterização hierárquica capturam estruturas não esféricas, mas são computacionalmente mais caros. Para detecção de anomalias em escala, considere o SageMaker Random Cut Forest para dados de sensores em streaming e pipelines Kinesis/Lambda para pontuação em tempo quase real (near-real-time); ajuste o número de árvores (tree count) e o tamanho da amostra (sample size) para controlar a sensibilidade. Ferramentas de interpretabilidade são cruciais: use a importância de features nativa do modelo para modelos de árvore e valores SHAP (SageMaker Clarify ou pacote SHAP) para explicações locais e resumos de efeitos globais. Cuidado com armadilhas comuns: vazamento temporal (temporal leakage) ao dividir aleatoriamente dados ordenados por tempo, confiar excessivamente na acurácia em cenários desbalanceados e assumir independência para o Naive Bayes. Para o deploy, empacote algoritmos personalizados em Docker quando necessário, exponha endpoints de predição e de saúde (health) e orquestre lançamentos canary (canary rollouts) através da divisão de tráfego do endpoint.
Problema Prático: FleetSight Logistics — ML Exploratório em Imagens de Caminhões
Cenário: A FleetSight coleta ~100 GB/dia de imagens de caminhões armazenadas no S3 e usa o SageMaker Studio para experimentos e o SageMaker Ground Truth para rotulagem de imagens. Eles precisam de capacidades de ML leves para detecção de defeitos com a intenção de escalar posteriormente.
Desafio: Identificar casos de uso supervisionados/não supervisionados viáveis e um pipeline de baixo custo para treinar modelos iniciais com rótulos limitados e inferência em tempo quase real para alertas.
Abordagem Recomendada:
- Use o SageMaker Ground Truth com aprendizado ativo (active learning) para rotular um conjunto inicial (seed set); armazene os dados rotulados no S3 e registre as features no SageMaker Feature Store.
- Comece com detecção de anomalias não supervisionada usando o SageMaker Random Cut Forest em metadados de sensores derivados de imagens e embeddings de imagem simples (extraia os embeddings com uma CNN pré-treinada em um SageMaker Notebook usando uma GPU ml.p3.2xlarge).
- Treine um classificador supervisionado leve usando aprendizado por transferência (transfer learning) (container integrado do SageMaker para TensorFlow ou PyTorch) no subconjunto rotulado; para baselines rápidos, extraia os embeddings e treine um modelo XGBoost (SageMaker XGBoost) em instâncias de CPU.
- Faça o deploy do modelo XGBoost em um endpoint do SageMaker com inferência assíncrona ou em um Multi-Model Endpoint para eficiência de custos; monitore as entradas e predições com o SageMaker Model Monitor e itere na rotulagem via Ground Truth.
Justificativa: Use embedding não supervisionado + Random Cut Forest para encontrar anomalias candidatas sem muitos rótulos, depois inicialize (bootstrap) modelos supervisionados via aprendizado por transferência e XGBoost para uma inferência compacta e rápida; os serviços do SageMaker fornecem um fluxo de trabalho de desenvolvimento e monitoramento integrado e escalável.
← Análise Exploratória de Dados e Visualização · Todos os domínios · Deep Learning e Visão Computacional →
Pratique estas questões → · Prática cronometrada no ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Passe no seu exame →