Model prognozowania szeregów czasowych zaimplementowany w TensorFlow działa na pojedynczym GPU i trenuje się około 23 godziny dziennie. Zespół przewiduje wzrost danych treningowych i w przyszłości będzie musiał ponownie trenować model co godzinę, minimalizując jednocześnie zmiany w kodzie i infrastrukturze. Jaka zmiana najlepiej pozwoli na skalowanie treningu w celu zaspokojenia przyszłego zapotrzebowania?

Modyfikacja kodu TensorFlow w celu użycia Horovod na Amazon SageMaker to najlepsze rozwiązanie. Horovod to framework do rozproszonego treningu głębokich sieci neuronowych, który minimalizuje zmiany w istniejącym kodzie TensorFlow, jednocześnie umożliwiając skalowanie treningu na wiele GPU lub instancji. SageMaker zapewnia zarządzane środowisko do uruchamiania rozproszonych zadań treningowych, co ułatwia skalowanie w miarę wzrostu danych. Pozostawienie kodu bez zmian i użycie mocniejszego GPU (A) nie zapewni wystarczającej skalowalności dla godzinnego ponownego treningu. Zastąpienie modelu wbudowanym modelem DeepAR (C) wymagałoby znacznych zmian w logice modelu i potencjalnie utraty niestandardowych funkcji. Przeniesienie do Amazon EMR (D) jest możliwe, ale Horovod na SageMaker jest bardziej zoptymalizowany pod kątem rozproszonego treningu głębokiego uczenia i wymaga mniejszych zmian w kodzie TensorFlow niż adaptacja do EMR.