EcoSensors entwickelt einen Klassifikator zur Fehlererkennung für die Fertigung mit einer Fehlerprävalenz von ~0,5 %. Das Übersehen eines Fehlers (False Negative) verursacht sehr hohe Betriebskosten, aber die Inspektion von False Positives verbraucht ebenfalls Ressourcen. Wählen Sie ZWEI Bewertungsmetriken aus, die das Team während der Validierung und Hyperparameter-Optimierung priorisieren sollte, um sicherzustellen, dass das Modell in dieser unausgewogenen Umgebung mit hohen Kosten für das Übersehen von Fehlern gut funktioniert.

Bei einer Fehlerprävalenz von 0,5 % handelt es sich um ein stark unausgewogenes Dataset. Precision-Recall AUC (PR-AUC) ist die bevorzugte Metrik für unausgewogene Datensätze, insbesondere wenn die positive Klasse selten ist. Sie konzentriert sich auf die Leistung der positiven Klasse und ist weniger anfällig für Optimismus, der durch eine hohe Anzahl von True Negatives in unausgewogenen Datensätzen entsteht. Der F1-Score ist das harmonische Mittel aus Präzision und Recall und bietet ein Gleichgewicht zwischen diesen beiden Metriken. Da das Übersehen eines Fehlers (False Negative) sehr hohe Kosten verursacht, ist Recall hier kritisch. Ein F-Beta-Score mit Beta 1 gewichtet Recall stärker als Präzision, was in diesem Szenario angemessen ist. AUC-ROC ist weniger geeignet, da es bei stark unausgewogenen Datensätzen zu irreführend optimistischen Ergebnissen führen kann. Die Genauigkeit ist ebenfalls ungeeignet, da ein Modell, das immer "kein Fehler" vorhersagt, eine Genauigkeit von 99,5 % erreichen würde, aber alle Fehler übersehen würde. Spezifität ist weniger relevant, da sie sich auf die korrekte Identifizierung von Nicht-Fehlern konzentriert, während hier die Erkennung von Fehlern im Vordergrund steht.