EdgeAI, heterojen uç cihazlardan (Raspberry Pi 3, NVIDIA Jetson TX2 ve arm64 Linux ağ geçitleri) oluşan bir filoya dağıtması gereken bir bilgisayar görüşü modeli geliştiriyor. Çıkarım verimini en üst düzeye çıkarmak ve bellek kullanımını azaltmak istiyorlar. SageMaker Neo derlemesini kullanmaya ilişkin aşağıdaki ifadelerden hangisi bu senaryo için en doğrudur?

Bu senaryo için en doğru yaklaşım, eğitilmiş modeli her hedef platform (Raspberry Pi 3, NVIDIA Jetson TX2 ve arm64 Linux ağ geçitleri) için SageMaker Neo kullanarak ayrı ayrı derlemektir. SageMaker Neo, model grafik optimizasyonları ve isteğe bağlı niceleme uygulayarak her platforma özel olarak optimize edilmiş derlemeler oluşturur. Bu, çıkarım verimini önemli ölçüde artırır ve bellek kullanımını azaltır, bu da heterojen uç cihazlar için kritik öneme sahiptir. Diğer seçenekler neden yanlış: Neo, tüm cihaz türlerinde tek bir evrensel ikili dosya derlemez. Her platformun kendine özgü donanım mimarisi olduğundan, en iyi performans için platforma özel derlemeler gereklidir. SageMaker Neo, Inferentia veya GPU örneklerinin yanı sıra Jetson veya Raspberry Pi gibi uç cihazlar için de derlemeler üretebilir. Neo, TensorFlow'un yanı sıra PyTorch, MXNet ve ONNX gibi çeşitli çerçevelerde eğitilmiş modeller için de derleme ve performans iyileştirmeleri sunar.