Bir şirket, şu anda bir SageMaker gerçek zamanlı endpoint tarafından sunulan bir model için yedek bir model eğitiyor. Bir ML mühendisinin, mevcut kullanıcıları etkilemeden yeni modelin gecikme süresini ve doğruluğunu üretim trafiği altında ölçmesi gerekiyor. Hangi değerlendirme yaklaşımı bu gereksinimi karşılar?

Doğru cevap, mevcut kullanıcıları etkilemeden yeni modelin gecikme süresini ve doğruluğunu üretim trafiği altında ölçmek için en uygun yöntem olan %100 trafik örneklemesiyle gölge testi (shadow testing) yapmaktır. Gölge testi, üretim trafiğinin bir kopyasını yeni modele göndererek, yeni modelin performansını gerçek dünya verileriyle ancak gerçek kullanıcıları etkilemeden değerlendirmenizi sağlar. Bu sayede, yeni modelin üretim ortamındaki davranışını güvenli bir şekilde gözlemleyebilir ve dağıtımdan önce gerekli ayarlamaları yapabilirsiniz. Diğer seçenekler neden yanlış: Doğrusal veya canary trafik kaydırma ile blue/green dağıtımı, trafiğin bir kısmını veya tamamını yeni modele yönlendirir, bu da yeni modelde bir sorun olması durumunda kullanıcı deneyimini doğrudan etkileyebilir. Kademeli dağıtım (rolling deployment), yeni modeli mevcut filonun bir kısmına kademeli olarak dağıtır, bu da yine kullanıcıları etkileme riski taşır.