Uma startup executa treinamentos complexos de redes neurais profundas usando GPUs. O fluxo de trabalho extrai conjuntos de dados do S3, carrega um modelo TensorFlow do repositório git da empresa, executa localmente e escreve o progresso no S3. O trabalho suporta pausa e retomada, é enfileirado centralmente e atualmente leva várias horas. Os gerentes querem que essa carga de trabalho semanal seja automatizada para ser executada toda segunda-feira e concluída até sexta-feira com o menor custo possível e com escalabilidade. Qual arquitetura melhor atende a esse requisito com o menor custo?

A opção correta é usar AWS Deep Learning Containers com AWS Batch e instâncias Spot de GPU. AWS Batch é ideal para cargas de trabalho em lote, como treinamento de modelos, gerenciando o provisionamento e escalonamento de recursos. As instâncias Spot oferecem o menor custo para cargas de trabalho tolerantes a interrupções, como esta, que suporta pausa e retomada. Os Deep Learning Containers fornecem ambientes pré-configurados para TensorFlow, simplificando o empacotamento. A execução em uma única instância EC2 (opção 2) não oferece escalabilidade nem otimização de custos para um trabalho semanal. AWS Fargate (opção 3) não suporta GPUs, o que é essencial para redes neurais profundas. Amazon ECS com instâncias Spot (opção 4) poderia ser uma opção, mas AWS Batch é mais adequado para o gerenciamento de jobs em lote, oferecendo melhor automação e otimização de recursos para este caso de uso específico.