Un spécialiste en ML entraîne des modèles de vision par ordinateur à apprentissage profond sur une instance EC2 avec un ratio CPU:GPU de 12:1 et constate que le GPU est inactif environ la moitié du temps. Il doit réduire les coûts d'entraînement sans augmenter la durée des tâches. Quelle option répond à cette exigence ?

L'option correcte est d'utiliser des instances Spot EC2 optimisées en mémoire pour les tâches d'entraînement. Le problème principal est que le GPU est sous-utilisé (inactif la moitié du temps), ce qui indique que le CPU n'arrive pas à alimenter le GPU assez rapidement avec les données. Les instances optimisées en mémoire ont un meilleur rapport mémoire/CPU, ce qui peut accélérer la préparation des données pour le GPU, réduisant ainsi son temps d'inactivité et améliorant l'efficacité globale sans augmenter la durée des tâches. Utiliser des instances Spot réduit également les coûts. Passer à un type d'instance avec uniquement des CPU ne serait pas viable car les modèles de vision par ordinateur à apprentissage profond dépendent fortement des GPU pour des performances acceptables. Un cluster hétérogène ne résout pas le problème de sous-utilisation du GPU et pourrait complexifier la gestion. Passer à un type d'instance avec un ratio CPU:GPU de 6:1 (plus de GPU par CPU) aggraverait le problème de sous-alimentation du GPU, car le CPU serait encore plus débordé.