CPU tabanlı bir model, mesai saatleri içinde aralıklı trafikle ve mesai saatleri dışında boşta kalma süreleriyle gerçek zamanlı tahminler sunacaktır. Bu senaryo için en uygun maliyetli SageMaker barındırma seçeneği hangisidir?

Doğru cevap, Serverless Inference'ı seçmektir çünkü bu seçenek, aralıklı trafik ve boşta kalma süreleri olan iş yükleri için en uygun maliyetli çözümdür. Serverless Inference, yalnızca istekler geldiğinde işlem yapar ve boşta kalma süresince maliyet oluşturmaz. Mesai saatlerindeki trafik artışlarını karşılamak için artırılmış provisioned concurrency yapılandırmak, gecikmeyi düşük tutarken maliyet etkinliğini sağlar. Diğer seçenekler neden uygun değil: SageMaker real-time endpoint'e zamanlama tabanlı otomatik ölçeklendirme eklemek, boşta kalma süresince bile minimum örneklerin çalışmasına neden olabilir, bu da daha yüksek maliyet demektir. SageMaker Asynchronous Inference, gerçek zamanlı tahminler için uygun değildir çünkü tahminler anında değil, asenkron olarak işlenir. SageMaker real-time endpoint'i bir Lambda fonksiyonu ile etkinleştirmek/devre dışı bırakmak, her açılışta bir başlangıç gecikmesi (cold start) yaratır ve operasyonel karmaşıklığı artırır.