EcoSensors 公司为制造业构建了一个缺陷检测分类器,缺陷的发生率约为 0.5%。漏检缺陷(假阴性)会导致非常高的运营成本,但检查假阳性也会消耗资源。在验证和超参数调优期间,团队应优先选择哪两个评估指标,以确保模型在这种不平衡、漏检成本高昂的环境中表现良好?
选择一个答案
点击一个选项来检查您的答案。
正确答案: Precision-Recall AUC (PR-AUC)。, F1-score(精确率和召回率的调和平均值),如果召回率更关键,则选择 beta > 1 的 F-beta。.
为什么这是答案
在缺陷检测这种高度不平衡且漏检成本极高(假阴性代价大)的场景中,PR-AUC 和 F1-score(尤其是偏重召回率的 F-beta)是更合适的评估指标。PR-AUC 更关注少数正类(缺陷),在正负样本不平衡时比 ROC-AUC 能更准确地反映模型性能,因为 ROC-AUC 可能被大量负样本的正确分类所掩盖。F1-score 是精确率和召回率的调和平均值,能综合考虑两者的表现。当假阴性成本高昂时,召回率(发现所有缺陷的能力)至关重要,因此应优先考虑召回率,选择 beta 1 的 F-beta 分数能更好地反映这一需求。准确率在不平衡数据集中具有误导性,因为它可能通过简单地将所有样本预测为多数类来获得高分。特异度(真阴性率)衡量模型正确识别无缺陷产品的能力,虽然重要,但在此场景中,发现缺陷(召回率)的优先级更高。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡