Een startup voert complexe deep neural network training uit met behulp van GPU's. De workflow haalt datasets op uit S3, laadt een TensorFlow-model uit de git-repo van het bedrijf, draait lokaal en schrijft de voortgang naar S3. De taak ondersteunt pauzeren en hervatten, wordt centraal in een wachtrij geplaatst en duurt momenteel enkele uren. Managers willen deze wekelijkse workload automatiseren, zodat deze elke maandag wordt uitgevoerd en uiterlijk vrijdag is voltooid, tegen de laagst mogelijke kosten en met schaalbaarheid. Welke architectuur voldoet het beste aan deze vereiste tegen de laagste kosten?

De correcte optie is het beste omdat AWS Batch is ontworpen voor het efficiënt uitvoeren van batch-computatieworkloads, inclusief die met GPU's. Door AWS Deep Learning Containers te gebruiken, wordt de omgeving gestandaardiseerd en reproduceerbaar. Het gebruik van Spot Instances verlaagt de kosten aanzienlijk, wat cruciaal is voor een wekelijkse taak die meerdere uren duurt en flexibele voltooiingstijden heeft (uiterlijk vrijdag). De mogelijkheid om te pauzeren en te hervatten is compatibel met Spot Instances, die onderbroken kunnen worden. De andere opties zijn minder geschikt: Het uitvoeren op een enkele goedkope GPU EC2-instantie met AWS Instance Scheduler biedt geen schaalbaarheid en kan duurder zijn dan Spot Instances voor langdurige taken. AWS Fargate ondersteunt momenteel geen GPU's, wat essentieel is voor deep neural network training. Amazon ECS met Spot Instances is een optie, maar AWS Batch is specifiek geoptimaliseerd voor batch-computatieworkloads en biedt betere integratie met Spot Instances voor dit type gebruik, inclusief het automatisch beheren van de levenscyclus van de taak bij onderbrekingen van Spot Instances.