NexaVision evalueert gedistribueerde strategieën voor twee workloads: (A) het trainen van ResNet50 op ImageNet over 8 x p3.8xlarge GPU's, waarbij het volledige model gemakkelijk op één GPU past, maar ze een hogere effectieve batchgrootte nodig hebben, en (B) het trainen van een 100B-parameter transformer waarbij één GPU de modelgewichten niet kan bevatten. Kies voor deze twee afzonderlijke workloads TWEE opties die beschrijven welke SageMaker gedistribueerde aanpak geschikt is voor elk.

Voor workload A is SageMaker Distributed Data Parallel (SMDDP) de juiste keuze. Het model past op één GPU, dus SMDDP kan het model repliceren over alle GPU's en de databatch over deze GPU's verdelen. Dit verhoogt de effectieve batchgrootte en doorvoer, waarbij NCCL/torch.distributed efficiënt de gradiënten synchroniseert. SageMaker MP is hier niet nodig omdat het model niet te groot is voor één GPU. Voor workload B, waarbij het 100B-parameter transformer-model niet op één GPU past, is SageMaker Model Parallel (SMP) de juiste aanpak. SMP shard het model over meerdere GPU's, waardoor grotere modellen getraind kunnen worden die anders niet in het geheugen zouden passen. SMDDP is ongeschikt omdat het model te groot is om op elke GPU te repliceren. Single-node training is ook geen optie, aangezien het model niet op één GPU past.