FinInsights, düşük gecikmeli finansal metin üretimi için ml.g5.xlarge bir örnek üzerinde bir JumpStart temel model uç noktası dağıttı. Başarılı bir pilot uygulamanın ardından, benzer gecikme kuyruk davranışı ile 3 kat daha yüksek sürekli iş hacmine ihtiyaç duyuyorlar. Bu gereksinimi karşılamak için SageMaker JumpStart uç noktasında yapılacak en doğrudan ve desteklenen değişiklik nedir?

Doğru seçenek, mevcut uç noktanın kapasitesini artırmanın en doğrudan ve desteklenen yolunu sunar. Daha büyük bir örnek tipi (ml.g5.12xlarge gibi) kullanarak veya mevcut örnek tipinden (ml.g5.xlarge) birden fazla örnek ekleyerek iş hacmi artırılabilir. Otomatik ölçeklendirme, talebe göre örnek sayısını dinamik olarak ayarlayarak sürekli iş hacmi gereksinimlerini karşılamaya yardımcı olur ve gecikmeyi düşük tutar. JumpStart container image'ını yeniden kullanmak, modelin kendisinde değişiklik yapmadan altyapıyı güncellemenizi sağlar. Diğer seçenekler neden yanlış: HyperParameterTuningJob, modelin performansını optimize etmek için kullanılır, iş hacmini artırmak için değil. Elastic Inference hızlandırıcıları, genellikle daha küçük örneklerde çıkarım maliyetini düşürmek için kullanılır, mevcut bir g5 örneğinin iş hacmini önemli ölçüde artırmak için tasarlanmamıştır. SageMaker Serverless Inference, otomatik ölçeklendirme sunsa da, JumpStart modelleri için her zaman doğrudan bir geçiş yolu değildir ve düşük gecikme gereksinimleri için her zaman en uygun çözüm olmayabilir.