Ein Finanzunternehmen hat ein ML-Modell zur Vorhersage der Kundenabwanderung eingesetzt und verfügt über Produktionsdaten von einer Woche. Sie möchten messen, wie genau das Modell die Abwanderung im Vergleich zu den tatsächlichen Ergebnissen vorhersagt. Welche Metrik sollten sie verwenden?

Der F1-Score ist die geeignete Metrik, da er ein Klassifikationsmodell bewertet, indem er Präzision und Recall kombiniert. Bei der Vorhersage der Kundenabwanderung (ein binäres Klassifikationsproblem) ist es entscheidend, sowohl falsch-positive als auch falsch-negative Vorhersagen zu berücksichtigen. Der F1-Score ist besonders nützlich, wenn die Klassen ungleich verteilt sind, was bei Abwanderungsdaten oft der Fall ist (weniger Abwanderer als Nicht-Abwanderer). RMSE (Root Mean Squared Error) wird für Regressionsprobleme verwendet, nicht für Klassifikationsprobleme wie die Abwanderungsvorhersage. ROI (Return on Investment) ist eine finanzielle Metrik, die den Geschäftswert misst, nicht die Modellgenauigkeit. BLEU Score wird zur Bewertung der Qualität von maschinellen Übersetzungen verwendet.