Bir startup, GPU'ları kullanarak karmaşık derin sinir ağı eğitimi çalıştırıyor. İş akışı, S3'ten veri kümelerini çeker, şirket git deposundan bir TensorFlow modelini yükler, yerel olarak çalışır ve ilerlemeyi S3'e yazar. İş, duraklatma ve devam ettirmeyi destekler, merkezi olarak kuyruğa alınır ve şu anda birkaç saat sürer. Yöneticiler, bu haftalık iş yükünün her Pazartesi çalışacak şekilde otomatikleştirilmesini ve en düşük maliyetle Cuma gününe kadar tamamlanmasını istiyorlar. Hangi mimari bu gereksinimi en düşük maliyetle en iyi şekilde karşılar?

Doğru cevap, AWS Batch'i GPU özellikli Spot Instances ile kullanmaktır. AWS Batch, karmaşık derin öğrenme iş yüklerini yönetmek için tasarlanmıştır, duraklatma ve devam ettirme gibi özelliklere sahiptir ve işleri en uygun maliyetle çalıştırmak için Spot Instances'ı verimli bir şekilde kullanabilir. AWS Deep Learning Containers, TensorFlow modelini standartlaştırılmış bir ortamda çalıştırmak için idealdir. Diğer seçenekler daha az maliyet etkin veya daha az yönetilebilirdir. Örneğin, tek bir EC2 instance üzerinde çalıştırmak ölçeklenebilirlik ve hata toleransı sağlamaz. Fargate Spot, GPU desteği sunmaz ve ECS üzerinde Spot Instances kullanmak, Batch'in sunduğu iş yönetimi özelliklerinden yoksundur.