Bir ML uzmanı, 12:1 CPU:GPU oranına sahip bir EC2 örneğinde derin öğrenme bilgisayar görüşü modellerini eğitirken GPU'nun zamanın yaklaşık yarısında boşta kaldığını fark eder. İş sürelerini uzatmadan eğitim maliyetlerini düşürmesi gerekmektedir. Bu gereksinimi hangi seçenek karşılar?

Doğru cevap, eğitim işleri için bellek için optimize edilmiş EC2 Spot Instances kullanmaktır. GPU'nun boşta kalması, veri yükleme veya işleme hızının GPU'nun hesaplama hızına yetişemediğini gösterir. Bellek için optimize edilmiş örnekler, daha hızlı veri yükleme ve ön işleme sağlayarak GPU'nun daha verimli kullanılmasını ve boşta kalma süresinin azalmasını sağlar. Spot Instances ise maliyetleri önemli ölçüde düşürür. Yalnızca CPU'lu bir örneğe geçmek, derin öğrenme bilgisayar görüşü modelleri için eğitim sürelerini uzatır ve performansı düşürür. Heterojen bir küme kullanmak karmaşıklığı artırır ve GPU boşta kalma sorununu doğrudan çözmez. 6:1 CPU:GPU oranına sahip bir örneğe geçmek, daha fazla CPU kaynağı sağlayarak GPU'nun boşta kalma süresini azaltabilir, ancak bellek için optimize edilmiş örneklerin sağladığı veri yükleme avantajını sunmaz ve Spot Instances'ın maliyet avantajından yoksundur.