DataWave Inc., düşük gecikmeli bir dolandırıcılık modelini bir SageMaker gerçek zamanlı endpoint'inde (tek üretim varyantı) çalıştırmaktadır. Canlı üretim trafiğinin %5'ini yeni bir model varyantına (shadow) yönlendirerek bir shadow testi yapmak istiyorlar, %95'i ise mevcut varyanta devam edecek; shadow modelden gelen yanıtlar istemcilere döndürülmemeli (çevrimdışı karşılaştırma için loglanacaklar). Bunu SageMaker içinde uygulamanın en uygun, en az müdahaleci yolu nedir?

Doğru seçenek, SageMaker'ın yerleşik A/B test ve gölge dağıtım (shadow deployment) yeteneklerini kullanır. Yeni bir üretim varyantı oluşturup InitialVariantWeight değerini 0.05 olarak ayarlayarak (veya UpdateEndpointWeightsAndCapacities ile güncelleyerek), SageMaker endpoint'i gelen isteklerin %5'ini otomatik olarak gölge varyanta yönlendirir. Bu varyanttan gelen yanıtlar istemciye döndürülmez, yalnızca çevrimdışı analiz için kaydedilir. Bu yöntem, mevcut endpoint'i değiştirmeden veya istemci tarafında ek mantık gerektirmeden en az müdahaleci ve en uygun çözümdür. Diğer seçenekler ya istemci tarafı mantık gerektirir, ya daha karmaşık bir altyapı (ALB) kurmayı önerir ya da çoklu model endpoint'lerinin farklı kullanım durumlarına yöneliktir ve burada istenen gölge test senaryosu için daha az optimize edilmiştir.