Amazon AIF-C01: Conceitos de IA Generativa — Guia de estudos
Faz parte do AWS AI Practitioner AIF-C01 — Guia de estudos. Pratique com respostas verificadas no centro de exames da Amazon, ou faça testes cronometrados no ExamRoll.io.
Alucinações, viés, explicabilidade, monitoramento e governança
Alucinações ocorrem quando os modelos fabricam fatos que parecem plausíveis, mas são incorretos; as estratégias de mitigação focam em fundamentar as respostas (RAG), citar explicitamente as fontes recuperadas, usar modelos de verificação que checam os fatos nas saídas e aplicar revisão humana (human-in-the-loop) para domínios de alto risco. O viés surge de dados de treinamento ou distribuições de rótulos desbalanceados; use o Amazon SageMaker Clarify para detectar viés no conjunto de dados, examinar a importância das features e produzir artefatos de explicabilidade. Para o desempenho e o desvio (drift) do modelo, implante o Amazon SageMaker Model Monitor para detectar desvios nos dados e nas predições, registre as entradas/saídas de inferência no CloudWatch e no S3 para auditoria e mantenha a proveniência dos prompts e das fontes de recuperação. A avaliação deve combinar métricas técnicas (precisão/revocação, F1, mAP para detecção, ROUGE para sumarização, perplexidade quando aplicável) com métricas centradas no ser humano, como utilidade, segurança e latência. As práticas de governança incluem o uso de red-teaming nas saídas, filtros de conteúdo automatizados, detecção e redação de PII com o Amazon Comprehend PII, versionamento de modelos e embeddings, e documentação do uso pretendido e das limitações. As armadilhas comuns incluem depender apenas de testes sintéticos, registro insuficiente para conformidade (compliance) e pular a mitigação de viés antes da implantação em contextos regulamentados.
Problema Prático: Cenário de Caso de Uso
Cenário: A MedData Analytics opera um assistente de diagnóstico interno que usa o Amazon Bedrock para geração, com manuais de pacientes e relatórios de imagem armazenados no Amazon S3, e um pipeline de treinamento do SageMaker para experimentos com modelos. Eles precisam fornecer sugestões de diagnóstico transparentes e verificáveis, minimizando alucinações e viés para os médicos.
Desafio: Fundamentar as saídas do modelo em documentos confiáveis, garantir a explicabilidade e as verificações de viés, e criar um pipeline de RAG de produção que mantenha a proveniência e a supervisão humana.
Abordagem Recomendada:
- Use o Amazon Textract para extrair texto estruturado de PDFs e o Amazon Comprehend PII para redigir campos sensíveis; armazene os documentos higienizados no Amazon S3 e rastreie as versões com tags de objeto (object tagging).
- Gere embeddings com um modelo de embedding do Amazon Bedrock (ou um codificador hospedado no SageMaker), indexe os vetores no Amazon OpenSearch Service com k-NN e armazene os metadados no DynamoDB para os links de proveniência.
- Construa uma orquestração de RAG onde o Lambda (ou Step Functions) recupera as
top_kpassagens, monta um template de prompt de sistema e chama o Amazon Bedrock para geração com uma temperatura baixa e instruções explícitas para “citar as fontes”. - Aplique o SageMaker Clarify nos dados de treinamento/rotulagem para detectar viés, use o SageMaker Model Monitor para alertas de desvio (drift), registre os prompts e os IDs de recuperação no CloudWatch/S3 e encaminhe as saídas de alto risco através do Amazon A2I para revisão pelos médicos.
Justificativa: Fundamentar as saídas via RAG e a citação explícita de fontes reduzem as alucinações; a combinação do Clarify, Model Monitor e revisão humana fornece explicabilidade, detecção de viés e uma governança operacional segura, consistente com as melhores práticas do setor.
← Fundamentos de IA e ML · Todos os domínios · Serviços AWS de AI →
Pratique estas questões → · Prática cronometrada no ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Passe no seu exame →