Amazon SageMaker ile dağıtılan bir ML modeli, Model Monitor kullanmaktadır. Modeli güncelledikten sonra, ML mühendisi Model Monitor kontrollerinde veri kalitesi hataları gözlemler. Model Monitor'un işaretlediği veri kalitesi sorunlarını gidermek için mühendis hangi eylemi gerçekleştirmelidir?

Model Monitor, modelin tahminleri ile gerçek veriler arasındaki sapmaları tespit etmek için bir baseline'a ihtiyaç duyar. Model güncellendiğinde, eski baseline artık güncel modelin beklenen davranışını doğru bir şekilde temsil etmeyebilir. Bu nedenle, en son üretim verilerinden yeni bir baseline oluşturmak ve Model Monitor'u bu yeni baseline'ı kullanacak şekilde yapılandırmak, veri kalitesi sorunlarını doğru bir şekilde tespit etmek ve gidermek için kritik öneme sahiptir. Diğer seçenekler: Modelin parametrelerini ve hiperparametrelerini değiştirmek, modelin performansını artırabilir ancak veri kalitesi sorunlarını doğrudan çözmez. Manuel bir Model Monitor işi başlatmak, mevcut sorunları tespit etmeye yardımcı olabilir ancak temel nedeni (eski baseline) ortadan kaldırmaz. Modelin eğitim setine daha fazla örnek eklemek ve modeli yeniden eğitmek, modelin genelleme yeteneğini artırabilir ancak Model Monitor'un veri kalitesi kontrolleri için doğru bir referans noktası sağlamaz.