Een ML-specialist traint deep-learning computervisie-modellen op een EC2-instance met een CPU:GPU-verhouding van 12:1 en merkt dat de GPU ongeveer de helft van de tijd inactief is. Ze moeten de trainingskosten verlagen zonder de duur van de taken te verlengen. Welke optie voldoet aan deze vereiste?

De GPU is de helft van de tijd inactief, wat betekent dat de huidige CPU-GPU-verhouding inefficiënt is en de kosten onnodig hoog zijn. Het gebruik van geheugen-geoptimaliseerde EC2 Spot Instances verlaagt de kosten aanzienlijk, omdat Spot Instances veel goedkoper zijn dan On-Demand instances. Dit heeft geen invloed op de duur van de taken, omdat de rekenkracht van de GPU's hetzelfde blijft. Overschakelen naar alleen CPU's zou de trainingstijd aanzienlijk verlengen. Een heterogeen cluster is complexer en biedt geen directe oplossing voor de inefficiënte GPU-benutting. Een CPU:GPU-verhouding van 6:1 zou de GPU-inactiviteit waarschijnlijk verergeren, omdat er dan relatief minder CPU-kracht beschikbaar is om de GPU te voeden.