Un modèle de prévision de séries temporelles implémenté dans TensorFlow s'exécute sur un seul GPU et prend environ 23 heures à entraîner quotidiennement. L'équipe s'attend à ce que les données d'entraînement augmentent et devra réentraîner le modèle toutes les heures à l'avenir, tout en minimisant les modifications de code et d'infrastructure. Quel changement permettra le mieux à l'entraînement de s'adapter à la demande future ?

L'option correcte est de modifier le code TensorFlow pour utiliser Horovod et paralléliser l'entraînement. Horovod est un framework de deep learning distribué qui permet d'entraîner des modèles TensorFlow sur plusieurs GPU ou machines avec des modifications de code minimales, ce qui répond à l'exigence de minimiser les changements. Cela permet une mise à l'échelle horizontale pour gérer l'augmentation future des données et la fréquence de réentraînement horaire. Conserver le code TensorFlow inchangé et passer à un GPU unique plus puissant n'offrira probablement pas une mise à l'échelle suffisante pour un entraînement horaire avec des données croissantes. Remplacer le modèle par DeepAR nécessiterait une refonte significative du modèle et potentiellement une perte de la logique métier existante. Déplacer la charge de travail vers Amazon EMR introduirait une nouvelle infrastructure et des changements de code potentiellement importants pour l'entraînement distribué, ce qui va à l'encontre de l'objectif de minimiser les modifications.