Bir şirket, tek bir On-Demand EC2 instance üzerinde, her gün tek bir epoch ile File mode'da bir CNN görüntü modeli eğitiyor. Her gün yaklaşık 10.000 yeni görüntü ekliyorlar ve kodu değiştirmeden eğitimi hızlandırmak ve maliyetleri düşürmek istiyorlar. Bu hedefe en iyi şekilde ulaşacak değişiklik hangisidir?

Doğru cevap, Spot Instances kullanmak ve model checkpointing'i etkinleştirmektir. Spot Instances, On-Demand fiyatına göre önemli ölçüde daha düşük maliyetli olabilir ve bu da maliyetleri düşürme hedefine doğrudan ulaşır. Ancak, Spot Instances kesintiye uğrayabilir. Model checkpointing'i etkinleştirmek, eğitimin kesintiye uğraması durumunda modelin son kaydedilen durumundan devam etmesini sağlayarak eğitimi hızlandırır ve kaynak israfını önler. Diğer seçenekler neden yanlış: File mode'dan Pipe mode'a geçmek, büyük veri kümeleri için daha verimli olabilir ancak CNN görüntü modellerinde her gün sadece bir epoch çalıştırıldığında ve 10.000 yeni görüntü eklendiğinde, bu değişiklik maliyetleri düşürme veya eğitimi önemli ölçüde hızlandırma konusunda Spot Instances kadar etkili olmayabilir. Ayrıca, Pipe mode genellikle kod değişikliği gerektirir. FastFile mode, File mode'a göre daha hızlıdır ancak yine de Spot Instances'ın maliyet avantajını sağlamaz ve kesinti riskini yönetmez. Sadece On-Demand instance'ı Spot Instances ile değiştirmek maliyeti düşürür ancak kesinti durumunda eğitimin baştan başlamasına neden olarak eğitimi yavaşlatabilir ve kaynak israfına yol açabilir. Bu nedenle checkpointing olmadan tek başına yeterli değildir.