EcoSensors 建立了一個用於製造業的缺陷檢測分類器，其中缺陷的發生率約為 0.5%。錯過缺陷（false negative）會導致非常高的營運成本，但檢查 false positive 也會消耗資源。在驗證和超參數調整期間，團隊應優先選擇哪兩個評估指標，以確保模型在這個不平衡、高錯失成本的環境中表現良好。

在缺陷檢測這種高度不平衡的數據集中，且錯過缺陷（false negative）成本極高時，Precision-Recall AUC (PR-AUC) 和 F1-score（特別是 F-beta score，其中 beta 1）是最佳選擇。PR-AUC 專注於正類預測的性能，對於不平衡數據集比 ROC AUC 更具資訊性，因為它對正類的召回率和精確度變化更敏感。F1-score 結合了精確度 (precision) 和召回率 (recall)，其中召回率在此情境下至關重要（避免錯過缺陷）；使用 beta 1 的 F-beta score 會更強調召回率，符合避免高營運成本的需求。 準確度 (Accuracy) 在不平衡數據集中會產生誤導，因為模型可能透過簡單地預測多數類別來達到高準確度。AUC-ROC 在不平衡數據集中可能表現良好，但 PR-AUC 更能反映正類別的性能。Specificity 僅衡量模型正確識別無缺陷產品的能力，而忽略了缺陷檢測的關鍵目標。