RetailVision'ın mağaza başına 240 kişiselleştirme modeli (her biri ~120 MB) vardır ve bu modeller nadiren sorgulanır (model başına istekler arasında dakikalar geçer). Şu anda her modeli ayrı bir endpoint olarak barındırıyorlar, bu da maliyetli. Maliyeti en aza indirmek isterken, bir model ilk kez istendiğinde kabul edilebilir cold-start gecikmesini korumak istiyorlar. Bu senaryoda maliyeti düşürmek için en iyi SageMaker barındırma yaklaşımı nedir?

Tek bir SageMaker çoklu model uç noktası, birçok nadiren sorgulanan modeli daha az sayıda örnekte birleştirerek maliyetleri önemli ölçüde azaltır. Modeller S3'ten isteğe bağlı olarak yüklendiğinden, her model için ayrı bir uç nokta çalıştırmanın maliyetinden kaçınılır. Bu yaklaşım, ilk istekte kabul edilebilir bir soğuk başlatma gecikmesine izin verirken, kaynak kullanımını optimize eder. EC2 örnekleri kullanmak yönetim yükünü artırır ve 240 modeli belleğe yüklemek maliyetli ve verimsizdir. Model başına otomatik ölçeklendirmeli 240 ayrı uç nokta, her model için ayrı bir uç nokta çalıştırma maliyetini korur. Asenkron çıkarım, düşük gecikme gereksinimleri için uygun değildir ve her model için ayrı bir uç nokta tutmak maliyetleri artırır.