一家公司正在将大型语言模型(LLM)从本地训练迁移到 Amazon SageMaker,用于实时对话系统,以回答实时信用卡查询。应该使用哪种 SageMaker 方法来训练和部署该 LLM?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 使用 SageMaker Training Compiler 加速 LLM 训练,并使用 SageMaker real-time inference 部署训练好的模型。.
为什么这是答案
此方案要求实时对话系统和实时信用卡查询,这意味着需要低延迟的训练和推理。SageMaker Training Compiler 可以显著加速 LLM 的训练,缩短模型准备时间。SageMaker real-time inference 专为低延迟、高吞吐量的实时应用设计,非常适合对话系统。 其他选项不符合实时要求: 带有 Deep Learning Containers for Large Model Inference 的 SageMaker 主要用于优化大型模型推理,但其训练部分没有明确提及加速,且 Deep Learning Containers 本身是基础,而非加速训练的特定方法。 SageMaker Notebook Jobs 适合交互式开发和实验,但通常不用于大规模 LLM 的生产训练加速。SageMaker Asynchronous Inference 适用于非实时、可接受延迟的场景。 SageMaker Studio 是一个集成开发环境,本身不直接加速训练。SageMaker batch transform 适用于处理大量离线数据,不适合实时推理。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡