EcoSensors construye un clasificador de detección de defectos para la fabricación con una prevalencia de defectos de ~0.5%. Omitir un defecto (falso negativo) tiene un costo operativo muy alto, pero inspeccionar falsos positivos también consume recursos. Seleccione DOS métricas de evaluación que el equipo debería priorizar durante la validación y el ajuste de hiperparámetros para asegurar que el modelo funcione bien en este entorno desequilibrado y de alto costo por omisión.

En un conjunto de datos desequilibrado con una prevalencia de defectos muy baja (~0.5%) y un alto costo por falso negativo, el AUC-PR (Área bajo la curva de Precisión-Exhaustividad) es superior al AUC-ROC. El AUC-ROC puede ser engañoso en datos desequilibrados porque la Tasa de Verdaderos Negativos (que es alta en estos casos) domina la curva, haciendo que un modelo parezca mejor de lo que realmente es. El AUC-PR se enfoca en la clase minoritaria (defectos), siendo más sensible a los falsos positivos y falsos negativos, lo cual es crucial aquí. La puntuación F1 (o F-beta con beta 1) también es adecuada. La F1 equilibra precisión y exhaustividad. Dado que omitir un defecto es muy costoso, la exhaustividad (recall) es crítica. Una F-beta con beta 1 penaliza más los falsos negativos, priorizando la exhaustividad sobre la precisión, lo que se alinea con el requisito de minimizar omisiones. La precisión por sí sola no es suficiente porque ignora los falsos negativos. La especificidad no es la métrica principal porque el problema se centra en la detección de defectos (clase positiva), no en la identificación correcta de no-defectos.