EcoSensors tworzy klasyfikator wykrywania defektów w produkcji, gdzie defekty występują z częstością ~0,5%. Przeoczenie defektu (fałszywie negatywne) wiąże się z bardzo wysokimi kosztami operacyjnymi, ale sprawdzanie fałszywie pozytywnych wyników również pochłania zasoby. Wybierz DWIE metryki oceny, które zespół powinien priorytetyzować podczas walidacji i dostrajania hiperparametrów, aby zapewnić dobrą wydajność modelu w tym niezbalansowanym środowisku o wysokich kosztach przeoczeń.

W tym scenariuszu mamy do czynienia z niezbalansowanym zbiorem danych (defekty ~0,5%) i wysokim kosztem fałszywie negatywnych wyników (przeoczone defekty), co oznacza, że recall jest kluczowy. Precision-Recall AUC (PR-AUC) jest odpowiednią metryką, ponieważ skupia się na klasie pozytywnej i jest bardziej informatywna niż AUC-ROC w przypadku niezbalansowanych zbiorów danych. F1-score (lub F-beta z beta 1) jest również odpowiednia, ponieważ równoważy precyzję i recall. Jeśli recall jest ważniejszy, F-beta z beta 1 (np. F2-score) przypisuje większą wagę recall. AUC-ROC jest mniej odpowiednie, ponieważ może dawać myląco wysokie wyniki w przypadku niezbalansowanych danych, ponieważ uwzględnia true negatives, które są bardzo liczne. Dokładność jest słabą metryką dla niezbalansowanych danych, ponieważ model przewidujący zawsze klasę większościową (brak defektu) osiągnąłby wysoką dokładność, ale byłby bezużyteczny. Specyficzność skupia się na true negatives, co jest mniej istotne, gdy priorytetem jest wykrywanie rzadkich defektów.