ml.m5.xlarge üzerinde yerleşik Görüntü Sınıflandırma modelini çalıştıran bir SageMaker uç noktası kabul edilemez çıkarım gecikmesi yaşıyor ve ModelLatency baskın katkıda bulunan faktör. Birden fazla kullanıcı uç noktayı aynı anda çağırdığında gecikme kötüleşiyor. Bu araştırmacılar için çıkarım gecikmesini hangi eylem azaltacaktır?

Görüntü sınıflandırma modelleri genellikle derin öğrenme tabanlıdır ve çıkarım sırasında yoğun hesaplama gerektirir. ModelLatency'nin baskın faktör olması, modelin kendisinin çıkarım süresinin yüksek olduğunu gösterir. Birden fazla kullanıcının aynı anda uç noktayı çağırmasıyla gecikmenin kötüleşmesi, mevcut işlem gücünün yetersiz kaldığını işaret eder. Amazon Elastic Inference (EI) hızlandırıcıları, bu tür derin öğrenme çıkarım iş yükleri için özel olarak tasarlanmıştır ve GPU'lara kıyasla daha düşük maliyetle ek çıkarım hızlandırması sağlar. Mevcut CPU tabanlı örneğe bir EI hızlandırıcısı eklemek, modelin çıkarım süresini önemli ölçüde azaltarak genel gecikmeyi düşürecektir. Diğer seçenekler: ml.t3 burstable örneğine geçmek, ml.m5.xlarge ile aynı sayıda vCPU'ya sahip olsa bile, burstable örnekler genellikle daha düşük temel performansa sahiptir ve bu da gecikmeyi artırabilir. SageMaker Autopilot, modelin eğitim aşamasında en iyi modeli bulmaya odaklanır, çıkarım gecikmesini doğrudan azaltmaz. Bellek için optimize edilmiş bir örnek tipine geçmek, modelin bellek kullanımından kaynaklanan bir sorun olmadığı sürece (ki burada ModelLatency baskın faktör), çıkarım gecikmesini çözmeyecektir. Görüntü sınıflandırma modelleri genellikle işlem gücüne daha çok ihtiyaç duyar.