NexaVision, iki iş yükü için dağıtılmış stratejileri değerlendiriyor: (A) ResNet50'yi ImageNet üzerinde 8 x p3.8xlarge GPU'da eğitmek; burada modelin tamamı tek bir GPU'ya kolayca sığarken, daha yüksek etkili batch size'a ihtiyaç duyuluyor ve (B) tek bir GPU'nun model ağırlıklarını tutamayacağı 100 milyar parametreli bir transformer'ı eğitmek. Bu iki farklı iş yükü için, her birine uygun SageMaker dağıtılmış yaklaşımını açıklayan İKİ seçeneği belirleyin.

A iş yükü için model tek bir GPU'ya sığdığı ve daha büyük bir efektif batch size istendiği için SageMaker Distributed Data Parallel (SMDDP) doğru seçimdir. SMDDP, modelin kopyalarını her GPU'ya dağıtır ve verileri böler, böylece her GPU veri alt kümeleri üzerinde paralel olarak eğitim yapar ve gradyanları senkronize eder. Bu, daha hızlı eğitim ve daha yüksek verim sağlar. B iş yükü için 100 milyar parametreli bir transformer tek bir GPU'ya sığmayacağı için SageMaker Model Parallel (pipeline parallel) gereklidir. Model paralelliği, modelin katmanlarını veya parametrelerini birden fazla GPU'ya böler, böylece her GPU modelin bir kısmını işler. SMDDP, modelin her GPU'ya sığmasını gerektirdiğinden B iş yükü için uygun değildir. Tek düğümlü eğitim, büyük modelleri otomatik olarak parçalamaz ve bu senaryolar için yetersiz kalır.