Ein Startup führt komplexes Training von tiefen neuronalen Netzen mithilfe von GPUs durch. Der Workflow ruft Datensätze von S3 ab, lädt ein TensorFlow-Modell aus dem Git-Repository des Unternehmens, führt es lokal aus und schreibt den Fortschritt nach S3. Der Job unterstützt das Anhalten und Fortsetzen, wird zentral in eine Warteschlange gestellt und dauert derzeit mehrere Stunden. Manager möchten, dass diese wöchentliche Arbeitslast automatisiert wird, um jeden Montag zu laufen und bis Freitag bei geringsten Kosten und Skalierbarkeit abgeschlossen zu sein. Welche Architektur erfüllt diese Anforderung am besten zu den geringsten Kosten?

Die korrekte Antwort ist, die Arbeitslast in AWS Deep Learning Containers zu verpacken und sie als Job auf AWS Batch mit GPU-fähigen Spot Instances auszuführen. AWS Batch ist ideal für die Ausführung von Batch-Jobs und kann automatisch GPU-fähige Spot Instances bereitstellen, was die Kosten erheblich senkt und die Skalierbarkeit gewährleistet. Deep Learning Containers bieten eine vorkonfigurierte Umgebung für TensorFlow. Die Ausführung auf einer einzelnen EC2-Instanz ist nicht skalierbar und bietet keine integrierte Job-Warteschlange oder Wiederaufnahme-Funktionalität. AWS Fargate unterstützt derzeit keine GPUs, was für Deep Learning unerlässlich ist. Amazon ECS mit Spot Instances wäre eine Option, aber AWS Batch ist speziell für Batch-Workloads optimiert und bietet eine bessere Integration für die Job-Verwaltung und -Planung.