Üretimde kullanılan bir SageMaker endpoint'i otomatik ölçeklendirme ile yapılandırılmıştır. Test sırasında ekip, yeni instance'ların başlatıldığını ancak başlatma işlemleri tamamlanmadan trafiğin bu instance'lara yönlendirildiğini gözlemler. Yeni instance'ların hazır olana kadar trafik almasını engellemeniz gerekiyor. Hangi değişikliği yapmalısınız?

Doğru cevap, scale-out aktiviteleri için bekleme süresini (cooldown period) artırmaktır. Bu, yeni instance'lar başlatıldıktan sonra Amazon SageMaker'ın bu instance'lara trafik yönlendirmeden önce modelin yüklenmesini ve hazır hale gelmesini bekleyeceği süreyi uzatır. Bu sayede, trafik yalnızca tam olarak başlatılmış ve istekleri işlemeye hazır instance'lara yönlendirilir. Diğer seçenekler neden yanlış: Scale-in bekleme süresini azaltmak ve maksimum kapasiteyi artırmak, mevcut sorunu çözmez; aksine, instance'ların daha hızlı kapanmasına veya daha fazla gereksiz instance'ın başlatılmasına neden olabilir. Bir multi-model endpoint'e geçmek, farklı modelleri aynı instance üzerinde barındırmak için faydalı olsa da, instance'ların hazır olmadan trafik alması sorununu doğrudan çözmez. Amazon API Gateway ve AWS Lambda'yı SageMaker endpoint'inin önüne yerleştirmek, trafik yönlendirme üzerinde daha fazla kontrol sağlayabilir ancak bu, SageMaker'ın yerleşik otomatik ölçeklendirme ve bekleme süresi ayarlarını kullanarak çözülebilecek bir sorun için gereksiz bir karmaşıklık ekler.