NexaVision 正在评估两种工作负载的分布式策略：(A) 在 8 x p3.8xlarge GPU 上使用 ImageNet 训练 ResNet50，其中完整模型可以轻松地放入单个 GPU，但他们需要更高的有效批处理大小；(B) 训练一个 100B 参数的 transformer，其中单个 GPU 无法容纳模型权重。对于这两种不同的工作负载，请选择两个选项来描述哪种 SageMaker 分布式方法适合每种情况。

对于工作负载 A，模型 ResNet50 可以放入单个 GPU 内存，但需要更大的有效批处理大小以提高训练效率。SageMaker Distributed Data Parallel (SMDDP) 是理想选择，因为它通过在多个 GPU 上复制模型并并行处理数据批次来扩展吞吐量，利用 NCCL 进行高效通信。 对于工作负载 B，一个 100B 参数的 transformer 模型无法单独放入单个 GPU。因此，必须使用 SageMaker Model Parallel (SageMaker MP / pipeline/model-parallel libraries) 将模型权重分片到多个 GPU 上。数据并行（如 SMDDP）不适用，因为它要求模型能放入单个 GPU。单节点训练不适合这两种分布式工作负载。