Um especialista em ML treina modelos de visão computacional de deep learning em uma instância EC2 com uma proporção CPU:GPU de 12:1 e percebe que a GPU fica ociosa cerca de metade do tempo. Ele deve reduzir os custos de treinamento sem aumentar a duração dos trabalhos. Qual opção atende a esse requisito?

A melhor opção é usar instâncias spot EC2 otimizadas para memória. A ociosidade da GPU indica que a CPU não está alimentando dados suficientes para a GPU, criando um gargalo. Instâncias otimizadas para memória (como as da família R ou X) geralmente têm mais memória e, consequentemente, mais largura de banda de memória para a CPU, permitindo que ela processe e prepare os dados mais rapidamente para a GPU. Isso pode resolver o gargalo da CPU sem aumentar a duração do trabalho e, ao usar instâncias Spot, os custos são significativamente reduzidos. Mudar para instâncias somente com CPUs eliminaria o benefício da aceleração da GPU, aumentando a duração do treinamento. Um cluster heterogêneo não resolveria o problema do gargalo da CPU. Mudar para uma proporção CPU:GPU de 6:1 (mais GPUs por CPU) agravaria o problema, pois a CPU teria ainda mais GPUs para alimentar.