Une startup exécute des entraînements complexes de réseaux neuronaux profonds à l'aide de GPU. Le workflow extrait des jeux de données de S3, charge un modèle TensorFlow depuis le dépôt Git de l'entreprise, s'exécute localement et écrit la progression sur S3. Le job prend en charge la mise en pause et la reprise, est mis en file d'attente de manière centralisée et prend actuellement plusieurs heures. Les responsables souhaitent que cette charge de travail hebdomadaire soit automatisée pour s'exécuter chaque lundi et se terminer le vendredi au coût le plus bas tout en étant scalable. Quelle architecture répond le mieux à cette exigence au coût le plus bas ?

L'option correcte est de packager la charge de travail dans des AWS Deep Learning Containers et de l'exécuter en tant que job sur AWS Batch en utilisant des instances Spot compatibles GPU. AWS Batch est idéal pour les charges de travail par lots complexes et permet l'utilisation d'instances Spot pour réduire les coûts, tout en gérant la mise en file d'attente, la planification et la reprise des jobs. Les Deep Learning Containers fournissent un environnement optimisé pour TensorFlow. L'exécution sur une instance EC2 GPU unique avec AWS Instance Scheduler ne serait pas scalable et ne permettrait pas de profiter de la reprise des jobs ou de la gestion centralisée. AWS Fargate ne prend pas en charge les GPU, ce qui est essentiel pour les entraînements de réseaux neuronaux profonds. Amazon ECS avec des instances Spot est une option viable pour l'exécution de conteneurs, mais AWS Batch est spécifiquement conçu pour les charges de travail par lots et offre une meilleure gestion des jobs, y compris la reprise et la planification, ce qui le rend plus adapté à ce scénario.