Bir şirketin Amazon SageMaker'da eğitilmiş bir ML modeli var ve bu modelin yüksek erişilebilirlik, minimum gecikme süresi ve tahmin edilemeyen istek artışlarını yönetebilme yeteneği ile üretimde barındırılması gerekiyor. Her istek 1 KB ile 3 MB arasında olacaktır. Çıkarım kapasitesi talebe orantılı olarak ölçeklenmelidir. Şirket modeli nasıl dağıtmalı?

SageMaker gerçek zamanlı çıkarım uç noktaları, yüksek erişilebilirlik, düşük gecikme süresi ve otomatik ölçeklendirme için tasarlanmıştır, bu da tahmin edilemeyen istek artışlarını yönetmek için idealdir. Otomatik ölçeklendirme, talebe göre kapasiteyi dinamik olarak ayarlar. Diğer seçenekler daha karmaşık kurulumlar gerektirir veya SageMaker'ın yerleşik optimizasyonlarını sunmaz. ECS veya EKS'de barındırmak, modeli kendiniz yönetmenizi ve ölçeklendirmenizi gerektirir, bu da ek operasyonel yük getirir. Spot Instances kullanmak maliyet etkin olabilir ancak kesintilere karşı daha hassastır ve belirtilen yüksek erişilebilirlik gereksinimini tam olarak karşılamayabilir.