Bir sağlık şirketi, hasta yeniden yatış riskini tahmin eden bir SageMaker uç noktasına sahiptir. Yüksek geri çağırmayı (recall) önceliklendiriyorlar ve yanlış pozitiflere tolerans göstereceklerdir. Mevcut modelin performansı düştüğü için, yeni bir modeli bir shadow varyantı olarak eğittiler ve dağıttılar ve bir ay boyunca canlı trafiği izlediler. Shadow varyantı, mevcut modele göre daha yüksek geri çağırmaya (recall) ancak daha düşük kesinliğe (precision) sahiptir. Şirket bundan sonra ne yapmalı?

Doğru cevap, shadow varyantını tam üretime yükseltmektir. Şirket yüksek geri çağırmayı (recall) önceliklendirdiğini ve yanlış pozitiflere tolerans göstereceğini belirtmiştir. Shadow varyantı, mevcut modele göre daha yüksek geri çağırmaya sahip olduğu için, şirketin hedefleriyle uyumludur. Daha düşük kesinlik (precision) bu senaryoda kabul edilebilir bir ödünleşmedir. Diğer seçenekler neden yanlış: Daha fazla veri toplamak veya shadow test süresini uzatmak, mevcut hedeflerle uyumlu olan modelin zaten gösterdiği performansı değiştirmeyecektir. Blue/green dağıtımı, riskli değişiklikler için kullanılır, ancak bu durumda shadow varyantının performansı zaten biliniyor ve hedeflerle uyumlu. Shadow varyantını devre dışı bırakmak, şirketin yüksek geri çağırma hedefine ulaşmasını engeller.