A NexaVision está avaliando estratégias distribuídas para duas cargas de trabalho: (A) treinar o ResNet50 no ImageNet em 8 GPUs p3.8xlarge, onde o modelo completo se encaixa facilmente em uma única GPU, mas eles precisam de um tamanho de lote efetivo maior, e (B) treinar um transformador de 100 bilhões de parâmetros, onde uma única GPU não consegue conter os pesos do modelo. Para essas duas cargas de trabalho distintas, escolha DUAS opções que descrevam qual abordagem distribuída do SageMaker é apropriada para cada uma.

Para a carga de trabalho A, onde o modelo cabe em uma única GPU, mas é necessário um tamanho de lote maior e maior throughput, o SageMaker Distributed Data Parallel (SMDDP) é a escolha apropriada. O SMDDP replica o modelo em cada GPU e distribui os dados de treinamento, permitindo um tamanho de lote efetivo maior e aproveitando a comunicação eficiente via NCCL/torch.distributed para sincronização de gradientes. Para a carga de trabalho B, com um modelo de 100 bilhões de parâmetros que não cabe em uma única GPU, o SageMaker Model Parallel (também conhecido como pipeline parallel) é a solução correta. Essa abordagem fragmenta o modelo em partes menores, distribuindo-as por várias GPUs, permitindo o treinamento de modelos que excedem a memória de uma única GPU. As opções incorretas sugerem o uso de paralelismo de modelo para a carga de trabalho A (desnecessário e menos eficiente para esse cenário) ou paralelismo de dados para a carga de trabalho B (inviável, pois o modelo não cabe em uma única GPU para ser replicado). O treinamento de nó único não fragmenta automaticamente modelos grandes entre GPUs.