Günün belirli saatlerinde düzensiz istek oranı alan eğitilmiş bir modeli barındırmanız gerekiyor. Barındırma, en yüksek talebe göre ölçeklenmeli ancak boşta kaldığında maliyeti en aza indirmelidir. Hangi barındırma yaklaşımı bu kısıtlamaları karşılar?

Doğru cevap, Amazon SageMaker endpoint'ine dağıtım yapıp SageMaker endpoint otomatik ölçeklendirme politikalarını yapılandırmaktır. SageMaker endpoint'leri, CloudWatch metriklerine (örneğin, çağrı başına ortalama gecikme süresi veya model kullanım oranı) dayalı olarak örnek sayısını dinamik olarak ayarlayarak düzensiz istek oranlarına otomatik olarak ölçeklenebilir. Bu, en yüksek talep sırasında yeterli kapasite sağlarken, boşta kaldığında maliyetleri en aza indirir. Diğer seçenekler neden uygun değil: AWS Lambda işlevleri, belirli ML modelleri için uygun olabilir ancak genellikle daha büyük veya daha karmaşık modeller için SageMaker kadar optimize değildir ve sabit eşzamanlılık, maliyet optimizasyonunu kısıtlayabilir. AWS Fargate üzerindeki statik sayıda görev, en yüksek yük için boyutlandırıldığında boşta kalma maliyetlerini optimize etmez. Bir Application Load Balancer'ın arkasına birden çok kopya dağıtmak, otomatik ölçeklendirme yeteneği olmadan statik bir çözüm sunar ve maliyetleri optimize etmez.