Una startup esegue complessi training di reti neurali profonde utilizzando GPU. Il workflow estrae dataset da S3, carica un modello TensorFlow dal repository git aziendale, viene eseguito localmente e scrive i progressi su S3. Il job supporta la pausa e la ripresa, è accodato centralmente e attualmente richiede diverse ore. I manager desiderano che questo carico di lavoro settimanale venga automatizzato per essere eseguito ogni lunedì e completato entro venerdì al minor costo possibile, scalando. Quale architettura soddisfa al meglio questo requisito al minor costo?

L'opzione corretta sfrutta AWS Deep Learning Containers per standardizzare l'ambiente, AWS Batch per gestire l'accodamento e l'esecuzione su larga scala, e le istanze Spot con capacità GPU per ridurre i costi, soddisfacendo i requisiti di automazione, scalabilità e costo minimo. AWS Batch è ideale per carichi di lavoro batch complessi e supporta la ripresa. L'esecuzione su una singola istanza EC2 GPU è meno scalabile e non offre la gestione automatica del job o la ripresa. AWS Fargate non supporta istanze GPU, rendendolo inadatto per carichi di lavoro di deep learning. L'uso di Amazon ECS con istanze Spot è una buona opzione per la scalabilità e il costo, ma AWS Batch è specificamente progettato per carichi di lavoro batch e offre una gestione più robusta, inclusa la capacità di riprendere i job, che è un requisito chiave.