Bir çevrimiçi teslimat şirketi, her şehir için S3'te depolanan bir XGBoost modeline sahiptir ve şu anda her modeli kendi EC2 instance'ında barındırmaktadır (yüzde 5 kullanım). Web uygulamasının hem mevcut hem de yeni kullanıcılar için gerçek zamanlı olarak en hızlı kuryeyi seçmesini ve operasyonel yükü en aza indirmesini istiyorlar. En az yönetim çabasıyla bunu hangi çözüm başarır?

Çok modelli bir sunucu kullanarak bir SageMaker container oluşturmak ve bir SageMaker multi-model endpoint dağıtmak, en az yönetim çabasıyla gerçek zamanlı çıkarım ve operasyonel yükü azaltma hedeflerine ulaşır. Multi-model endpoint'ler, tek bir endpoint arkasında birden çok modeli barındırarak kaynak kullanımını optimize eder ve her model için ayrı bir instance çalıştırma ihtiyacını ortadan kaldırır. TargetModel parametresi, çalışma zamanında hangi modelin kullanılacağını dinamik olarak belirtmeye olanak tanır. Diğer seçenekler bu gereksinimleri karşılamaz: Batch transform, gerçek zamanlı çıkarım için uygun değildir. Tek bir EC2 instance'ında birleşmek, operasyonel yükü artırır ve ölçeklenebilirliği kısıtlar. Her şehir için ayrı SageMaker endpoint'leri oluşturmak, yönetim yükünü artırır ve kaynak kullanımını optimize etmez.