Özel bir tahmin modelinin barındırılması gerekmektedir; iş yükü her gün aynı 2 saatlik pencere boyunca tahmin edilebilir ve sürdürülebilirdir ve birçok çağrının hızlı yanıtlar vermesi gerekir. Şirket, altyapıyı ve otomatik ölçeklendirmeyi AWS'nin yönetmesini istemektedir. Hangi barındırma seçeneği bu gereksinimleri karşılar?

Bu senaryoda Amazon SageMaker Serverless Inference ve provisioned concurrency kullanmak en uygun çözümdür. Serverless Inference, altyapı yönetimini AWS'ye bırakarak operasyonel yükü azaltır ve tahmin edilebilir iş yükü için idealdir. Provisioned concurrency, hızlı yanıt süreleri gerektiren çağrılar için modelin her zaman hazır olmasını sağlar ve soğuk başlatma gecikmelerini ortadan kaldırır. Diğer seçenekler: AWS Lambda tarafından tetiklenen bir Amazon SageMaker batch transform işi, gerçek zamanlı hızlı yanıtlar için uygun değildir. Batch transform, büyük veri kümeleri üzerinde toplu tahminler yapmak için tasarlanmıştır. Zamanlanmış ölçeklendirme ile bir EC2 Auto Scaling grubu kullanmak, altyapı yönetimini tamamen AWS'ye bırakmaz ve Serverless Inference'a göre daha fazla operasyonel çaba gerektirir. Modeli, pod autoscaling özellikli EC2 üzerindeki bir Amazon EKS kümesinde çalıştırmak, yüksek düzeyde kontrol ve esneklik sunsa da, altyapı yönetimi ve ölçeklendirme karmaşıklığı Serverless Inference'a göre daha fazladır. Şirketin altyapıyı AWS'nin yönetmesini istemesi bu seçeneği daha az cazip kılar.