NexaVision évalue des stratégies distribuées pour deux charges de travail : (A) l'entraînement de ResNet50 sur ImageNet à travers 8 GPU p3.8xlarge où le modèle complet tient facilement sur un seul GPU, mais ils ont besoin d'une taille de lot effective plus élevée, et (B) l'entraînement d'un transformeur de 100 milliards de paramètres où un seul GPU ne peut pas contenir les poids du modèle. Pour ces deux charges de travail distinctes, choisissez DEUX options décrivant l'approche distribuée SageMaker appropriée pour chacune.

Pour la charge de travail A, où le modèle ResNet50 tient sur un seul GPU mais une taille de lot effective plus élevée est nécessaire, SageMaker Distributed Data Parallel (SMDDP) est la solution appropriée. SMDDP réplique le modèle sur chaque GPU et distribue les données, permettant une augmentation de la taille du lot et du débit grâce à des communications efficaces (comme NCCL/torch.distributed). L'option incorrecte suggérant SageMaker Model Parallel pour la charge de travail A est fausse car SMDDP est conçu pour ce scénario et utilise efficacement NCCL. Pour la charge de travail B, où le modèle transformeur de 100 milliards de paramètres ne peut pas tenir sur un seul GPU, SageMaker Model Parallel (ou des bibliothèques de parallélisme de pipeline/modèle) est la bonne approche. Cette méthode fragmente le modèle sur plusieurs GPU, permettant l'entraînement de modèles trop grands pour une seule carte. L'option incorrecte proposant SMDDP pour la charge de travail B est inapplicable car SMDDP réplique le modèle entier, ce qui est impossible si le modèle ne tient pas sur un seul GPU. L'entraînement sur un seul nœud est incorrect car il ne permet pas de gérer des modèles trop grands pour un GPU.