Bir e-ticaret şirketinin, ürün önerileri için dağıtılmış bir SageMaker factorization machines (FM) endpoint'i bulunmaktadır. Ekip iki yeni model (TensorFlow ve PyTorch) eğitti ve bu yönlendirme kurallarıyla A/B testleri çalıştırması gerekiyor: trafiğin %70'ini FM modeline, %15'ini TensorFlow modeline, %15'ini PyTorch modeline gönder; ancak Avrupa'dan gelen müşteriler için tüm trafiği TensorFlow modeline yönlendir. Hangi mimari bu davranışı destekler?

Doğru seçenek, SageMaker'ın A/B testleri ve trafik yönlendirme yeteneklerini en iyi şekilde kullanır. SageMaker endpoint'leri, birden fazla üretim varyantını destekler. Her varyant, farklı bir model veya model sürümü olabilir ve belirli bir ağırlıkla yapılandırılabilir. Bu, trafiğin %70 FM, %15 TensorFlow, %15 PyTorch şeklinde dağıtılmasını sağlar. Avrupa'dan gelen müşteriler için tüm trafiği TensorFlow modeline yönlendirme gereksinimi, SageMaker'ın TargetVariant başlığı özelliği ile karşılanır. İstemci, bu başlığı isteğine ekleyerek belirli bir varyanta doğrudan yönlendirme yapabilir. Diğer seçenekler neden yanlış: Application Load Balancer (ALB) veya Network Load Balancer (NLB) kullanmak, SageMaker'ın yerleşik A/B test ve trafik yönlendirme özelliklerini gereksiz yere karmaşıklaştırır ve ek yönetim yükü getirir. SageMaker endpoint'leri zaten bu işlevselliği sağlar. Ayrıca, ALB/NLB ile coğrafi bazlı yönlendirme yapmak daha karmaşık kurallar gerektirebilir. Otomatik ölçeklendirme politikası eklemek, varyantların trafiğe göre ölçeklenmesini sağlar ancak doğrudan A/B test ağırlıklarını veya TargetVariant başlığı ile yönlendirmeyi yönetmez.