Amazon MLS-C01: Análise Exploratória de Dados e Visualização — Guia de estudos
Faz parte do AWS Machine Learning Specialty MLS-C01 — Guia de estudos. Pratique com respostas verificadas no centro de exames da Amazon, ou faça testes cronometrados no ExamRoll.io.
Distribuições, Transformações e Escalonamento de Features
Entender as distribuições das features brutas é a base da EDA. Comece perfilando cada variável com histogramas, estimativas de densidade kernel e resumos de quantis em um notebook do SageMaker Studio ou em um job do SageMaker Processing (ml.m5.xlarge com scikit-learn/pandas). Transformações logarítmicas, Box–Cox, Yeo–Johnson e transformações baseadas em ranking (quantile transformer) são apropriadas para dados com assimetria à direita, mas a Box–Cox exige valores estritamente positivos e falha com zeros — armadilhas comuns incluem aplicar log/Box–Cox sem adicionar um offset aos zeros e esquecer de inverter as transformações ao interpretar as saídas do modelo. A padronização (média zero, variância unitária) é essencial antes de métodos baseados em distância (k-means, PCA, SVM) e antes de modelos lineares regularizados; o escalonamento Min–Max é útil para redes neurais com ativações limitadas. Ao implantar, persista os transformadores no SageMaker Feature Store ou como artefatos do modelo para que a inferência online e em lote (batch) usem um pré-processamento idêntico. Use o AWS Glue ou o Glue DataBrew para perfilar conjuntos de dados muito grandes no S3 e gerar estatísticas resumidas; use o Athena para consultar amostras estratificadas. Os critérios de decisão dependem da sensibilidade do algoritmo: conjuntos de árvores (tree ensembles) toleram features não escalonadas, enquanto métodos lineares e baseados em distância não. Por fim, verifique a existência de outliers e caudas pesadas (heavy tails) com estatísticas robustas (mediana, IQR) e avalie se deve fazer clipping, winsorize ou modelar separadamente (segmentação) em vez de remover pontos cegamente.
Análise de Resíduos, Curvas de Aprendizado e Testes de Diagnóstico
Os resíduos revelam uma especificação incorreta do modelo: média não nula, heterocedasticidade, autocorrelação ou não linearidade devem ser diagnosticadas. Plote os resíduos versus os valores previstos e versus as features principais no SageMaker Studio; calcule o Durbin–Watson para autocorrelação e use o Ljung–Box para correlação de resíduos em séries temporais. Para regressão, procure por formatos de funil que indiquem heterocedasticidade; aplique transformações estabilizadoras de variância ou modelos heterocedásticos (por exemplo, XGBoost com objetivo ajustado ou previsão probabilística). Curvas de aprendizado — gráficos do erro de treinamento e validação versus o tamanho do conjunto de treinamento — identificam alta variância (overfitting) ou alto viés (underfitting). Use o SageMaker Debugger para capturar tensores por época e métricas do CloudWatch e adicione um alarme do CloudWatch para ser acionado se a perda de validação divergir enquanto a perda de treinamento diminui. Armadilhas comuns incluem usar validação cruzada aleatória para dados temporais (use divisões baseadas no tempo) e avaliar com acurácia em conjuntos desbalanceados (prefira precision–recall ou AUC-PR). Para o ajuste de hiperparâmetros (hyperparameter tuning), tome decisões usando esses diagnósticos: se o gap de validação persistir, aumente a regularização, adicione dados ou reduza a complexidade do modelo; se ambos os erros forem altos, aumente a capacidade ou adicione features. Persista os gráficos e as métricas de diagnóstico via SageMaker Experiments para garantir a reprodutibilidade.
Redução de Dimensionalidade, PCA, Análise de Autovetores e Clusterização
A redução de dimensionalidade reduz o ruído e melhora a interpretabilidade. Aplique PCA ou SVD randomizado (scikit-learn ou Spark MLlib no EMR/Glue) após o escalonamento; inspecione a razão da variância explicada para escolher o número de componentes e examine os loadings para mapear os componentes de volta para as features originais. Os sinais dos autovetores são arbitrários — interprete os loadings absolutos e agrupe as features por magnitude. Para estruturas altamente não lineares, use t-SNE ou UMAP apenas para visualização, não como pré-processamento para modelos sem uma validação cruzada cuidadosa. Para clusterização, escolha k-means para clusters esféricos (requer escalonamento), Gaussian Mixture Models para atribuições suaves (soft assignments) e DBSCAN para formas baseadas em densidade; execute os scores de silhueta e o índice de Davies-Bouldin para comparar. Em conjuntos de dados grandes, use o k-means integrado do SageMaker (instâncias de GPU/CPU) ou execute o mini-batch k-means no SageMaker Processing. Cuidado com a armadilha de aplicar PCA a features categóricas codificadas com one-hot — considere usar feature hashing ou camadas de embedding. Use gráficos de cotovelo (elbow plots), gráficos de variância explicada e a estabilidade dos clusters entre subamostras para decidir o valor de k. Persista os centroides dos clusters e os transformadores de PCA no SageMaker Feature Store para que a pontuação em tempo real downstream e os modelos baseados em segmentos usem transformações consistentes.
Visualização, Monitoramento e Integração com a AWS para Drift e Desempenho
A visualização é tanto exploratória quanto operacional: use matplotlib/seaborn no SageMaker Studio para gráficos ad-hoc e o Amazon QuickSight para dashboards que rastreiam métricas de desempenho em tempo real. Para drift de modelo e qualidade de dados, estabeleça baselines com uma amostra de treinamento representativa via SageMaker Model Monitor e SageMaker Clarify para detectar mudanças de distribuição, alterações na importância das features e viés. Configure o Model Monitor com uma baseline derivada de um artefato de um job de Processamento e habilite o monitoramento contínuo em endpoints implantados com verificações horárias/diárias; eventos do CloudWatch e o SNS podem disparar alertas. Para ingestão e análise de streaming, use o Kinesis Data Firehose para persistir JSON no S3 com conversão de formato para Parquet (habilite a conversão de formato de registro e a integração com o Glue Catalog) ou anexe um Lambda para transformações personalizadas. Para SQL em tempo quase real sobre arquivos compactados, particione e registre os dados no Glue Data Catalog e consulte com o Athena, atualizando as partições via Lambda na chegada de um novo objeto S3. Armadilhas comuns incluem falhar em versionar as baselines, ignorar a evolução do schema (use o Glue Schema Registry) e depender apenas de métricas agregadas — sempre inclua o drift por feature e o desempenho por segmento para detectar degradação localizada. Use o SageMaker Experiments e o Model Monitor juntos para correlacionar mudanças de hiperparâmetros com eventos de drift e manter a linhagem.
Problema Prático: Cenário de Caso de Uso
Cenário: A Acme Retailer usa o stack de ML da AWS com SageMaker Studio, data lake no S3, ingestão com Kinesis Firehose, Glue Data Catalog e QuickSight para visualização. A equipe armazena dados demográficos de clientes, logs de sessão e compras no S3 como JSON e Parquet.
Desafio: Identificar os segmentos de clientes com maior probabilidade de churn nos próximos seis meses e estabelecer um monitoramento para detectar se as distribuições das features ou o desempenho do modelo sofrem drift após a implantação.
Abordagem Recomendada:
- Crie um job de Processamento do SageMaker (ml.m5.xlarge) para amostrar e traçar o perfil dos dados usando pandas/sklearn, aplique transformações logarítmicas/Box-Cox onde apropriado e registre os artefatos de pré-processamento no SageMaker Feature Store.
- Calcule o PCA (scikit-learn ou Spark ML no Glue/EMR) após o escalonamento para reduzir a dimensionalidade, examine a variância explicada e os loadings, e realize a clusterização com o xgboost do SageMaker ou o k-means integrado para derivar os segmentos.
- Treine um modelo de classificação (XGBoost no SageMaker ou uma pequena NN no TensorFlow) usando divisões de treino/validação cientes do tempo, registre as métricas no SageMaker Experiments e defina early stopping e ponderação de classes para desbalanceamento.
- Implante com um SageMaker Endpoint, habilite o Model Monitor usando uma baseline gerada a partir do job de Processamento, configure verificações de drift de hora em hora e alarmes do CloudWatch para notificar via SNS; visualize o desempenho e o drift no nível do segmento no QuickSight.
Justificativa: Esta abordagem combina pré-processamento robusto, redução de dimensionalidade interpretável e clusterização escalável para segmentação, enquanto o SageMaker Model Monitor e o QuickSight fornecem detecção operacional de drift de dados e de desempenho, garantindo um pré-processamento reprodutível através do Feature Store e experimentos rastreados para análise de causa raiz.
← Engenharia de Dados e Engenharia de Features · Todos os domínios · Modelagem — Supervisionada e Não Supervisionada (ML Clássico) →
Pratique estas questões → · Prática cronometrada no ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Passe no seu exame →