MedScan Health'in, her istek için sırasıyla bir görüntü ön işleme kapsayıcısı, ardından bir TensorFlow model kapsayıcısı ve ardından bir son işleme kapsayıcısı çalıştıran bir SageMaker endpoint'ine ihtiyacı var. Müşteriler için tek bir HTTP endpoint URL'si istiyorlar. Minimum ek ağ iletişimi ve doğru model yaşam döngüsü davranışı ile bu gereksinimi en iyi karşılayan SageMaker dağıtım yaklaşımı hangisidir?

Doğru cevap, SageMaker çıkarım hattı oluşturmaktır. Bu yaklaşım, ön işleme, model çıkarımı ve son işleme adımlarını tek bir SageMaker endpoint'i altında birleştirir. Bu, her istek için minimum ağ iletişimi sağlar ve SageMaker'ın bu kapsayıcıları dahili olarak zincirlemesine olanak tanır, böylece tek bir HTTP endpoint URL'si üzerinden tüm süreci yönetir. Üç ayrı gerçek zamanlı endpoint dağıtmak ve önüne bir Application Load Balancer + Lambda yerleştirmek, her istek için birden fazla ağ çağrısı gerektirecek ve karmaşıklığı artıracaktır. SageMaker multi-model endpoint'i, birden fazla modeli aynı endpoint'te barındırmak için tasarlanmıştır, ancak burada belirtilen ardışık işleme adımlarını yönetmek için uygun değildir. Ön işleme ve son işlemeyi ayrı SageMaker Processing işlerinde uygulamak, gerçek zamanlı çıkarım için uygun değildir çünkü bu işler genellikle daha uzun süreli ve eşzamansızdır.