Ein ML-Spezialist trainiert Deep-Learning-Computer-Vision-Modelle auf einer EC2-Instance mit einem CPU:GPU-Verhältnis von 12:1 und stellt fest, dass die GPU etwa die Hälfte der Zeit im Leerlauf ist. Er muss die Trainingskosten senken, ohne die Jobdauer zu verlängern. Welche Option erfüllt diese Anforderung?

Die GPU-Auslastung von 50 % deutet darauf hin, dass die GPU nicht vollständig genutzt wird, was zu unnötigen Kosten führt. EC2 Spot Instances bieten eine kostengünstige Möglichkeit, Rechenkapazität zu nutzen, da sie ungenutzte EC2-Kapazität zu einem deutlich reduzierten Preis bereitstellen. Da die Jobdauer nicht verlängert werden soll, sind Spot Instances eine gute Wahl, solange die Workloads fehlertolerant sind und Checkpointing unterstützen, um Unterbrechungen zu handhaben. Speicheroptimierte Instanzen sind hier nicht primär relevant, aber Spot Instances sind der entscheidende Faktor für die Kostensenkung. Der Wechsel zu einem Instance-Typ, der nur CPUs enthält, würde die Trainingszeit erheblich verlängern, da Deep-Learning-Modelle stark von GPUs profitieren. Ein heterogener Cluster ist komplexer und löst das Problem der GPU-Unterauslastung nicht direkt. Ein Wechsel zu einem Instance-Typ mit einem CPU:GPU-Verhältnis von 6:1 würde die GPU-Auslastung möglicherweise verbessern, aber nicht die Kosten so stark senken wie Spot Instances und erfordert möglicherweise immer noch eine ungenutzte GPU-Kapazität.