Amazon AIF-C01: 生成式 AI 概念 — 学习指南
属于 AWS AI Practitioner AIF-C01 — 学习指南. 使用经过验证的答案练习: Amazon 考试中心, 或参加限时模拟考试: ExamRoll.io.
基础模型、词元、嵌入和多模态基础知识
基础模型是大型的预训练神经网络,可跨文本、图像和其他模态提供强大的通用能力;通过 AWS 可用的示例包括 Amazon Bedrock 对 Titan 及其他供应商模型的访问,以及用于训练和托管自定义模型的 SageMaker 环境。词元是 LLM 用于输入和输出的原子片段——子词或字符;分词(tokenization)决定了上下文窗口的使用、成本和截断风险。嵌入是编码语义的密集数值向量,是实现相似性搜索、聚类和下游检索的关键;嵌入可以由 Bedrock 模型或托管在 SageMaker 上的模型生成。多模态模型接受并连接文本、图像和音频;典型的 AWS 构建模块包括用于视觉特征提取的 Amazon Rekognition、用于扫描文档的 Amazon Textract 和用于音频转文本的 Amazon Transcribe,并使用 Bedrock 或 SageMaker 模型来融合各种模态。从业者需要权衡的关键因素包括:是选择微调基础模型(成本更高、交付周期更长、任务对齐更好),还是选择提示工程和 RAG(速度更快、成本更低、对数据隐私更安全)。常见陷阱包括:在构建提示时忽略词元限制、未能对嵌入或索引进行版本控制,以及低估了图像和文档输入的预处理需求。
提示工程、模型控制和推理技术
提示工程通过构建指令和上下文来获得可靠的输出;有效的提示会将系统指令(角色、护栏)、用户内容和可选的少样本示例分离开来。使用简洁的系统提示来定义风格、约束和输出格式,并存储规范模板以避免漂移。在 Bedrock 或 SageMaker 中调整 temperature、top-p 和 max_tokens 等推理参数会影响创造性和确定性——较低的 temperature 和较窄的 top-p 会产生更一致的答案,但会牺牲创造性。推理技术包括思维链(通过显式的中间推理来改进多步任务)、自洽性(采样多个推理路径并进行综合)和验证循环(要求模型检查或引用来源)。常见陷阱有提示注入(不受信任的输入改变了系统行为)、脆弱的少样本示例(过拟合了风格而非意图),以及忽略记录提示以供审计。技术选型决策标准:当透明度很重要时,对复杂推理使用思维链;但当结果会产生现实世界的影响时,增加验证环节;对于面向生产环境的 UI,优先选择确定性设置以确保可重复性。
检索增强生成 (RAG)、向量存储、智能体和架构
RAG 将检索层与生成模型相结合:索引文档、计算嵌入、执行相似性搜索以检索上下文,然后用检索到的段落来约束 LLM 的生成。在 AWS 上,文档源通常位于 Amazon S3 中,提取使用 Textract 或自定义管道,嵌入通过 Bedrock 或 SageMaker 生成,向量则存储在带有 k-NN 的 Amazon OpenSearch Service 中,或存储在构建于 DynamoDB 或 OpenSearch 之上的专用向量存储中;当需要企业级语义搜索和连接器时,可以使用 Amazon Kendra。智能体是基于 LLM 的控制器,它决定何时调用工具——如搜索、数据库查询、计算器等——并且可以通过 AWS Lambda 或 Step Functions 编排模型调用来安全地执行这些工具。架构模式包括用于聊天机器人的同步 RAG 和用于摘要作业的异步批量 RAG(使用 Athena 或 EMR 预处理大型语料库)。从业者陷阱:索引过时(未刷新嵌入)、包含的上下文过长超出词元窗口,以及未能为检索到的内容提供来源链接。根据连接器、安全性以及对语义排序的需求,在 Kendra 和 OpenSearch 之间做出选择。
幻觉、偏见、可解释性、监控与治理
当模型捏造听起来合理但实际上不正确的事实时,就会出现幻觉;缓解策略主要集中在响应的溯源(RAG)、明确引用检索到的来源、使用验证模型对输出进行事实核查,以及针对高风险领域进行人工审核。偏见源于有偏差的训练数据或标签分布;可使用 Amazon SageMaker Clarify 检测数据集偏见、检查特征重要性并生成可解释性工件。对于模型性能和漂移,可部署 Amazon SageMaker Model Monitor 来检测数据和预测漂移,将推理输入/输出日志记录到 CloudWatch 和 S3 以便审计,并维护提示词和检索来源的出处信息。评估应将技术指标(精确率/召回率、F1 分数、用于检测的 mAP、用于摘要的 ROUGE、以及适用的困惑度)与以人为中心的指标(如实用性、安全性和延迟)相结合。实用的治理实践包括对输出进行红队测试、使用自动化内容过滤器、通过 Amazon Comprehend PII 进行 PII 检测和脱敏、对模型和嵌入进行版本控制,以及记录预期用途和局限性。常见陷阱包括仅依赖合成测试、为满足合规性要求而记录的日志不充分,以及在受监管的环境中部署前跳过偏见缓解步骤。
实践问题:用例场景
场景:MedData Analytics 公司运营一个内部诊断助手,该助手使用 Amazon Bedrock 进行内容生成,其数据源是存储在 Amazon S3 中的患者手册和影像报告,并使用 SageMaker 训练管道进行模型实验。他们必须为临床医生提供透明、可验证的诊断建议,同时最大限度地减少幻觉和偏见。
挑战:将模型输出溯源至可信文档,确保可解释性和偏见检查,并创建一个能够维护出处信息和人工监督的生产级 RAG 管道。
推荐方法:
- 使用 Amazon Textract 从 PDF 中提取结构化文本,并使用 Amazon Comprehend PII 对敏感字段进行脱敏;将清理后的文档存储在 Amazon S3 中,并使用对象标签跟踪版本。
- 使用 Amazon Bedrock 嵌入模型(或 SageMaker 托管的编码器)生成嵌入,在 Amazon OpenSearch Service 中使用 k-NN 索引向量,并将元数据存储在 DynamoDB 中以建立出处链接。
- 构建一个 RAG 编排流程,其中 Lambda(或 Step Functions)检索 top_k 的段落,组装系统提示词模板,并调用 Amazon Bedrock,使用低 temperature 值和明确的“引用来源”指令进行生成。
- 在训练/标签数据上应用 SageMaker Clarify 检测偏见,使用 SageMaker Model Monitor 获取漂移警报,将提示词和检索 ID 记录到 CloudWatch/S3,并通过 Amazon A2I 将高风险输出路由给临床医生进行审核。
理由:通过 RAG 和明确的来源引用进行输出溯源可以减少幻觉;结合使用 Clarify、Model Monitor 和人工审核,可提供符合从业者最佳实践的可解释性、偏见检测和安全运营治理。
← AI 和 ML 基础 · 所有领域 · AWS AI →
练习这些题目 → · 在 ExamRoll.io 上限时练习 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
通过考试 →