Ein ML-Modell in der Produktion, das bisher die Ziele erreicht hat, zeigt plötzlich eine verschlechterte Leistung und fällt unter die Schwellenwerte. Was ist eine wahrscheinliche Ursache für diesen plötzlichen Leistungsabfall?

Ein plötzlicher Leistungsabfall eines zuvor gut funktionierenden Modells deutet oft auf einen Drift in der Produktionsdatenverteilung hin. Das bedeutet, dass sich die Eigenschaften der Eingabedaten im Laufe der Zeit geändert haben und das Modell, das auf den alten Daten trainiert wurde, die neuen Daten nicht mehr korrekt interpretieren kann. Mangel an Trainingsdaten ist unwahrscheinlich, da das Modell bereits in Produktion war und gut funktionierte. Rechenressourcen-Einschränkungen würden eher zu langsameren Vorhersagen oder Ausfällen führen, nicht unbedingt zu einer schlechteren Modellleistung. Modell-Overfitting würde sich typischerweise bereits während der Validierungsphase zeigen oder zu schlechter Leistung bei neuen, aber ähnlichen Daten führen, nicht zu einem plötzlichen Abfall bei sich ändernden Produktionsdaten.