NexaVisionは、2つのワークロードに対して分散戦略を評価しています。(A) ResNet50をImageNetでトレーニングする。このワークロードでは、8 x p3.8xlarge GPUを使用し、モデル全体は1つのGPUに容易に収まるが、より高い実効バッチサイズが必要。(B) 100Bパラメータのトランスフォーマーをトレーニングする。このワークロードでは、1つのGPUにモデルの重みを保持できない。これら2つの異なるワークロードに対して、それぞれに適切なSageMaker分散アプローチを説明する選択肢を2つ選んでください。

ワークロードAでは、モデルが単一GPUに収まり、より大きな実効バッチサイズが必要なため、SageMaker Distributed Data Parallel (SMDDP) が最適です。SMDDPはデータをGPU間で分散し、各GPUでモデルのレプリカをトレーニングすることで、バッチサイズとスループットを効率的にスケールします。 ワークロードBでは、100Bパラメータのモデルが単一GPUに収まらないため、SageMaker Model Parallel (SMP) が適切です。SMPはモデルの重みを複数のGPUにシャーディングし、パイプライン並列やテンソル並列などの技術を用いて大規模モデルのトレーニングを可能にします。 誤った選択肢は、SMDDPが画像モデルにNCCLを利用できないという誤解や、100Bモデルを各GPUに複製することが非効率であるという理由で不適切です。また、SageMakerがコード変更なしで自動的にモデルをシャーディングするわけではありません。