一家社交媒体公司希望比较 SageMaker JumpStart 中提供的多个 LLM 的输出毒性,同时最大限度地减少操作工作。哪种评估方法的运营开销最少?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 自动模型评估.
为什么这是答案
自动模型评估(Automated Model Evaluation)运营开销最少,因为它使用预定义的指标和算法自动评估模型输出,无需人工干预。这使得公司能够快速、经济地比较多个大型语言模型(LLM)的毒性。众包评估和使用人工审核员进行模型评估都需要大量人工参与,运营成本高。基于人类反馈的强化学习(RLHF)虽然能提高模型性能,但其主要目的是优化模型,而非快速评估现有模型的毒性,且需要持续的人工反馈,运营开销也很大。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡