EcoSensorsは、製造業向けの欠陥検出分類器を構築しています。欠陥の発生率は約0.5%です。欠陥を見逃すこと（偽陰性）は運用コストが非常に高くなりますが、誤検知を検査することもリソースを消費します。この不均衡で、見逃しのコストが高い設定において、モデルが適切に機能することを保証するために、チームが検証とハイパーパラメータチューニング中に優先すべき評価指標を2つ選択してください。

欠陥検出のような不均衡なデータセットでは、偽陰性（欠陥の見逃し）のコストが高いため、再現率（Recall）が非常に重要になります。PR-AUCは、特に正例が少ない場合にモデルの性能をより正確に評価し、再現率と適合率のトレードオフを示します。F1スコアは適合率と再現率の調和平均であり、両方のバランスを評価します。特に再現率がより重要である場合は、F-betaスコアでbeta値を1より大きく設定することで、再現率に重み付けをして評価できます。 AUC-ROCは、不均衡なデータセットでは誤解を招く可能性があります。Accuracyは、多数派クラスに偏った予測をしていても高くなるため、不均衡なデータセットでは不適切な指標です。Specificityは真陰性率であり、欠陥がないものを正しく識別する能力を示しますが、欠陥を見逃すコストが高いシナリオでは、再現率ほど重要ではありません。