EcoSensors разрабатывает классификатор для обнаружения дефектов в производстве, где распространенность дефектов составляет ~0,5%. Пропуск дефекта (ложноотрицательное срабатывание) влечет за собой очень высокие эксплуатационные расходы, но проверка ложноположительных результатов также потребляет ресурсы. Выберите ДВЕ метрики оценки, которым команда должна отдать приоритет во время валидации и настройки гиперпараметров, чтобы гарантировать хорошую производительность модели в этой несбалансированной среде с высокой стоимостью пропуска.

Поскольку пропуск дефекта (ложноотрицательное срабатывание) влечет за собой очень высокие затраты, а распространенность дефектов низка (~0,5%), модель должна быть чувствительна к обнаружению положительных случаев. Precision-Recall AUC (PR-AUC) является подходящей метрикой для несбалансированных наборов данных, особенно когда положительный класс является редким. Она фокусируется на производительности модели по обнаружению положительных классов, что критически важно, когда ложноотрицательные срабатывания дороги. F1-score или F-beta с beta1 также подходят. F1-score является гармоническим средним precision и recall, обеспечивая баланс между ними. Если recall более критичен (как в данном случае, где пропуск дефекта очень дорог), F-beta с beta1 (например, F2-score) придает больший вес recall, что соответствует цели минимизации ложноотрицательных срабатываний. AUC-ROC менее информативен для сильно несбалансированных данных, так как он может показывать хорошие результаты даже при плохой производительности на редком классе. Точность не подходит, так как модель может иметь высокую точность, просто классифицируя все как отрицательное. Specificity измеряет долю правильно идентифицированных отрицательных случаев, что менее важно, чем обнаружение дефектов.