Startup przeprowadza złożone szkolenia głębokich sieci neuronowych, wykorzystując GPU. Proces roboczy pobiera zestawy danych z S3, ładuje model TensorFlow z repozytorium Git firmy, uruchamia go lokalnie i zapisuje postępy do S3. Zadanie obsługuje pauzowanie i wznawianie, jest centralnie kolejkowane i obecnie trwa kilka godzin. Menedżerowie chcą, aby to cotygodniowe obciążenie było zautomatyzowane, uruchamiane w każdy poniedziałek i kończone do piątku przy najniższych kosztach i skalowaniu. Która architektura najlepiej spełnia to wymaganie przy najniższych kosztach?

Prawidłowa odpowiedź to spakowanie obciążenia w AWS Deep Learning Containers i uruchomienie go jako zadanie na AWS Batch, używając instancji Spot z obsługą GPU. AWS Batch jest idealny do złożonych zadań wsadowych, oferując automatyczne skalowanie i zarządzanie kolejkami. Użycie instancji Spot z GPU znacząco obniża koszty, a Deep Learning Containers zapewniają zoptymalizowane środowisko. Możliwość pauzowania i wznawiania zadania jest kluczowa dla instancji Spot, które mogą zostać przerwane. Uruchomienie na taniej instancji EC2 z GPU i zaplanowanie za pomocą AWS Instance Scheduler nie zapewnia automatycznego skalowania ani odporności na przerwania instancji Spot. AWS Fargate z pojemnością Spot nie obsługuje instancji GPU, co jest wymagane dla głębokich sieci neuronowych. Uruchomienie zadania na Amazon ECS z instancjami Spot i zaplanowanie za pomocą harmonogramu usług ECS jest możliwe, ale AWS Batch jest bardziej zoptymalizowany do zarządzania zadaniami wsadowymi, w tym obsługą kolejek i automatycznym skalowaniem, co lepiej odpowiada na wymagania dotyczące najniższych kosztów i skalowania.