Genetik algoritmaya dayalı dağıtılmış bir modelin tahmin üretmesi birkaç dakika sürebilir ve 100 MB'a kadar veri içeren istekleri işlemesi gerekir. Bu gereksinimleri karşılarken operasyonel yükü en aza indiren dağıtım seçeneği hangisidir?

Doğru cevap, Amazon SageMaker Asynchronous Inference uç noktasına dağıtmaktır. Bu seçenek, modelin tahmin üretmesinin birkaç dakika sürmesi ve 100 MB'a kadar veri içeren istekleri işlemesi gibi uzun süreli ve büyük boyutlu istekler için optimize edilmiştir. Asynchronous Inference, istekleri bir kuyruğa alır ve tahminler hazır olduğunda yanıtları döndürür, böylece istemcinin beklemesine gerek kalmaz. Bu, operasyonel yükü azaltır çünkü modelin sürekli olarak çalışır durumda tutulması gerekmez ve yalnızca ihtiyaç duyulduğunda tahmin yapar. Diğer seçenekler bu gereksinimleri karşılamaz: Amazon EC2 örnekleri ve Auto Scaling grubu, altyapı yönetimi ve ölçeklendirme için daha fazla operasyonel yük gerektirir. Ayrıca, uzun süreli tahminler için istemcinin bağlantıyı açık tutması gerekir. Amazon SageMaker gerçek zamanlı uç noktası, düşük gecikmeli, küçük boyutlu istekler için tasarlanmıştır ve birkaç dakika süren tahminler için uygun değildir. Amazon ECS üzerinde kapsayıcı olarak dağıtım, EC2'ye benzer şekilde altyapı yönetimi yükü getirir ve asenkron işleme yeteneği yerleşik değildir.