NexaVision evaluiert verteilte Strategien für zwei Workloads: (A) das Training von ResNet50 auf ImageNet über 8 x p3.8xlarge GPUs, wobei das vollständige Modell problemlos auf eine einzelne GPU passt, aber eine höhere effektive Batch-Größe benötigt wird, und (B) das Training eines 100B-Parameter-Transformers, bei dem eine einzelne GPU die Modellgewichte nicht aufnehmen kann. Wählen Sie für diese beiden unterschiedlichen Workloads ZWEI Optionen, die beschreiben, welcher SageMaker-Ansatz für verteilte Systeme jeweils geeignet ist.

Für Workload A ist SageMaker Distributed Data Parallel (SMDDP) die richtige Wahl. Das Modell passt auf eine einzelne GPU, und SMDDP repliziert das Modell auf allen GPUs, um die effektive Batch-Größe und den Durchsatz zu erhöhen. Es nutzt NCCL/torch.distributed für eine effiziente Gradientensynchronisation. SageMaker Model Parallel ist hier nicht ideal, da es für Modelle gedacht ist, die nicht auf eine einzelne GPU passen, und nicht für die Skalierung der Batch-Größe. Für Workload B ist Model Parallel (SageMaker Model Parallel / Pipeline Parallel) die korrekte Lösung. Der 100B-Parameter-Transformer ist zu groß für eine einzelne GPU. Model Parallel sharded das Modell über mehrere GPUs, sodass jeder Teil des Modells auf einer separaten GPU liegt. SMDDP wäre hier ungeeignet, da das Modell nicht repliziert werden kann, wenn es nicht auf eine einzelne GPU passt. Single-Node-Training ist für Workload B ebenfalls nicht praktikabel, da das Modell zu groß ist.