Otomatik model kalitesi izleme özelliğine sahip bir üretim modeli uç noktasını işletiyorsunuz. İzleme sistemi ihlalleri bildirdikten sonra, modeli mevcut üretim trafiğini yansıtan bir veri kümesi kullanarak yeniden eğitiyor, yeni modeli dağıtıyor ve ilk izleme işini çalıştırıyorsunuz. Uç noktada ihlaller devam ediyor. Bildirilen ihlalleri çözmek için ne yapmalısınız?

Modeli yeni verilerle yeniden eğittikten sonra ihlallerin devam etmesi, izleme sisteminin hala eski veri dağılımına dayalı bir referans çizgisi (baseline) kullandığını gösterir. Yeni eğitim verileri, modelin artık üretim trafiğini daha iyi yansıtan farklı bir veri dağılımına uyum sağladığı anlamına gelir. Bu nedenle, izleme sisteminin de bu yeni dağılımı referans alması gerekir. Yeni eğitim verileri üzerinde bir baseline işi çalıştırarak ve monitörü bu yeni baseline'ı kullanacak şekilde yapılandırarak, izleme sistemi güncel modelin beklenen davranışını doğru bir şekilde değerlendirecek ve yanlış pozitif ihlalleri ortadan kaldıracaktır. Diğer seçenekler: İzleme işini manuel olarak tekrar tetiklemek, temel referans çizgisi güncellenmediği sürece aynı ihlalleri bildirmeye devam edecektir. Uç noktayı silip yeniden oluşturmak, temel referans çizgisi sorununu çözmez ve gereksiz bir adımdır. Orijinal ve yeni eğitim verilerinin birleşik bir veri kümesini kullanarak modeli tekrar eğitmek, modelin performansını artırsa bile, izleme sisteminin referans çizgisi güncellenmediği sürece ihlaller devam edebilir.