Das XGBoost-Modell eines Unternehmens in der Produktion zeigt nach mehreren Monaten einen signifikanten Rückgang des F1-Scores im Vergleich zum zuvor von SageMaker Model Monitor aufgezeichneten Baselineschwellenwert. Was ist die wahrscheinlichste Ursache für den reduzierten F1-Score?

Ein signifikanter Rückgang des F1-Scores nach mehreren Monaten deutet stark auf Konzeptdrift hin. Konzeptdrift tritt auf, wenn sich die statistischen Eigenschaften der Zieldaten (die vorhergesagt werden sollen) im Laufe der Zeit ändern, was dazu führt, dass die Leistung des Modells abnimmt, da es auf veralteten Mustern trainiert wurde. In diesem Fall haben sich die Kundendaten, auf denen das XGBoost-Modell Vorhersagen trifft, so verändert, dass das Modell nicht mehr optimal funktioniert. Die ursprüngliche Architektur des Modells war zu einfach: Ein anfänglich guter F1-Score widerspricht dieser Annahme. Der Basisdatensatz enthielt ursprünglich Datenqualitätsprobleme: Probleme mit der Datenqualität würden sich wahrscheinlich schon früher oder von Anfang an auf die Modellleistung ausgewirkt haben, nicht erst nach Monaten. Falsche Ground-Truth-Labels bei der Baseline-Berechnung: Dies würde zu einem falsch hohen Baseline-F1-Score führen, aber nicht erklären, warum der aktuelle F1-Score gesunken ist. Es würde eher bedeuten, dass der ursprüngliche Score nie so gut war, wie angenommen.