Bir sahtekarlık tespit modeli, üretimde bir SageMaker endpoint üzerinde çalışmaktadır. Yeni bir model sürümünün, üretim kullanıcılarını etkilemeden canlı trafik kullanılarak değerlendirilmesi gerekmektedir. Bu hangi stratejiyle başarılabilir?

Doğru cevap, yeni modeli bir shadow variant olarak dağıtarak ve kullanıcı yanıtlarını etkilemeden ona canlı istekler göndererek shadow testing yapmaktır. Shadow testing, yeni modelin üretim trafiğiyle nasıl performans gösterdiğini, ancak kullanıcı deneyimini etkilemeden değerlendirmenizi sağlar. Yeni model, mevcut üretim modeline gelen isteklerin bir kopyasını alır ve tahminler yapar, ancak bu tahminler kullanıcılara geri gönderilmez. Bu, yeni modelin performansını, gecikmesini ve kaynak kullanımını gerçek dünya koşullarında güvenli bir şekilde gözlemlemenizi sağlar. Diğer seçenekler neden yanlış: SageMaker Debugger, model eğitimi sırasında hataları ve performans sorunlarını tespit etmek için kullanılır, üretimde canlı trafikle model değerlendirmesi için uygun değildir. Blue/green deployment, trafik kaydırma stratejisi olmadan tüm trafiği bir kerede yeni modele kaydırmak, yeni modelde olası sorunlar nedeniyle üretim kullanıcılarını doğrudan etkileme riski taşır. Canary tarzı trafik kaydırma ile blue/green deployment, trafiği kademeli olarak kaydırarak riski azaltır, ancak yine de kullanıcıların yeni modelin tahminleriyle doğrudan etkileşime girmesine neden olur. Shadow testing ise kullanıcıları hiç etkilemeden değerlendirme imkanı sunar.