NexaVision은 두 가지 워크로드에 대한 분산 전략을 평가하고 있습니다. (A) 전체 모델이 단일 GPU에 쉽게 들어가지만 더 높은 유효 배치 크기가 필요한 8 x p3.8xlarge GPU에서 ImageNet에 대한 ResNet50 훈련, (B) 단일 GPU가 모델 가중치를 담을 수 없는 100B-파라미터 트랜스포머 훈련. 이 두 가지 개별 워크로드에 대해 각각에 적합한 SageMaker 분산 접근 방식을 설명하는 두 가지 선택 사항을 고르세요.

워크로드 A는 모델이 단일 GPU에 적합하고 더 큰 유효 배치 크기가 필요하므로 SageMaker Distributed Data Parallel (SMDDP)이 적합합니다. SMDDP는 NCCL을 사용하여 GPU 전체에 모델을 복제하고 데이터 배치를 분할하여 처리량을 확장합니다. 워크로드 B는 100B 파라미터 모델이 단일 GPU에 들어갈 수 없으므로 SageMaker Model Parallel (SMP)이 필요합니다. SMP는 모델 가중치를 여러 GPU에 분할하여 더 큰 모델을 훈련할 수 있도록 합니다. SMDDP는 모델이 단일 GPU에 들어갈 수 없을 때 적합하지 않으며, 단일 노드 훈련은 대규모 분산 훈련의 이점을 제공하지 않습니다.