A EcoSensors desenvolve um classificador de detecção de defeitos para manufatura com prevalência de defeitos de ~0,5%. Perder um defeito (falso negativo) tem um custo operacional muito alto, mas inspecionar falsos positivos também consome recursos. Selecione DUAS métricas de avaliação que a equipe deve priorizar durante a validação e o ajuste de hiperparâmetros para garantir que o modelo tenha um bom desempenho neste cenário desbalanceado e de alto custo de perda.

O cenário apresenta um conjunto de dados altamente desbalanceado (0,5% de defeitos) e um alto custo para falsos negativos (defeitos perdidos). 1. AUC de Precisão-Recall (PR-AUC) é a métrica mais adequada para conjuntos de dados desbalanceados, especialmente quando a classe positiva é rara. Ela foca no desempenho da classe minoritária, oferecendo uma visão mais precisa do trade-off entre precisão (minimizar falsos positivos) e recall (minimizar falsos negativos). O AUC-ROC padrão pode ser enganoso em dados desbalanceados, pois é influenciado pela classe majoritária. 2. F1-score (ou F-beta com beta 1) é crucial. O F1-score é a média harmônica de precisão e recall, fornecendo um equilíbrio. Como perder um defeito é muito custoso, o recall é crítico. Um F-beta com beta 1 daria mais peso ao recall, alinhando-se com a necessidade de minimizar falsos negativos. A acurácia é inadequada para dados desbalanceados, pois um modelo que prevê sempre a classe majoritária pode ter alta acurácia, mas ser inútil. A especificidade foca em verdadeiros negativos, que não são a principal preocupação aqui.