Bir perakende şirketi, son 3 haftadır hatalı tahminler üreten günlük bir satış tahmin modeli çalıştırmaktadır. Her gün, bir AWS Glue işi model girdilerini, modelin tahminlerini ve gerçek günlük satışları Amazon S3'te depolanan dosyalarda birleştirir. ML ekibi, yanlışlıkların özellik değeri dağılımlarındaki kaymalardan kaynaklandığını tespit eder ve gelecekte bu tür veri kaymalarını en az operasyonel yük ile tespit edecek bir çözüme ihtiyaç duyar. Bu gereksinimi hangi yaklaşım karşılar?

Doğru seçenek, Amazon SageMaker Model Monitor'ü kullanarak bir veri kalitesi taban çizgisi oluşturmayı, emitmetrics'in etkinleştirildiğinden emin olmayı ve yayılan metrik üzerinde bir Amazon CloudWatch alarmı oluşturmayı önerir. Model Monitor, üretimdeki model girdilerinin veri kalitesini ve dağılımını izlemek için tasarlanmıştır. Veri kaymasını tespit etmek için bir taban çizgisi oluşturulur ve emitmetrics özelliği, CloudWatch'a metrik göndermeyi sağlar, böylece bir alarm tetiklenebilir. Diğer seçenekler neden yanlış: "Model kalitesi taban çizgisi" yerine "veri kalitesi taban çizgisi" kullanılmalıdır çünkü sorun veri kaymasıdır, modelin içsel kalitesi değil. Amazon SageMaker Debugger, model eğitimi sırasında hataları tespit etmek için kullanılır, üretimdeki veri kaymasını izlemek için değil. Amazon CloudWatch Logs'u manuel olarak incelemek, en az operasyonel yük gereksinimiyle çelişir ve otomatik bir çözüm değildir.