Ein in TensorFlow implementiertes Zeitreihen-Vorhersagemodell läuft auf einer einzelnen GPU und benötigt täglich etwa 23 Stunden für das Training. Das Team erwartet ein Wachstum der Trainingsdaten und muss in Zukunft stündlich neu trainieren, während Code- und Infrastrukturänderungen minimiert werden sollen. Welche Änderung ermöglicht am besten die Skalierung des Trainings für zukünftige Anforderungen?

Die Änderung des TensorFlow-Codes zur Nutzung von Horovod ermöglicht verteiltes Training über mehrere GPUs oder Maschinen. Dies ist die beste Lösung, da das aktuelle Modell 23 Stunden auf einer einzelnen GPU benötigt und zukünftig stündlich neu trainiert werden muss. Eine leistungsstärkere einzelne GPU würde die Trainingszeit zwar reduzieren, aber wahrscheinlich nicht ausreichend für stündliches Training bei wachsenden Datenmengen sein. Das Ersetzen des Modells durch DeepAR würde erhebliche Code- und Modelländerungen erfordern, was den Wunsch nach minimierten Änderungen widerspricht. Die Verlagerung zu Amazon EMR ist für das Training von Machine-Learning-Modellen nicht die primäre oder effizienteste Lösung, da SageMaker speziell für solche Workloads optimiert ist und Horovod direkt unterstützt.