Een tijdreeksvoorspellingsmodel, geïmplementeerd in TensorFlow, draait op een enkele GPU en heeft dagelijks ongeveer 23 uur nodig om te trainen. Het team verwacht dat de trainingsdata zullen groeien en moet in de toekomst elk uur hertrainen, terwijl code- en infrastructuurwijzigingen tot een minimum worden beperkt. Welke wijziging maakt het trainen het beste schaalbaar voor toekomstige vraag?

De huidige trainingstijd van 23 uur op één GPU is onhoudbaar voor toekomstige uurlijkse hertraining. Horovod is een gedistribueerd deep learning-framework dat efficiënte schaalbaarheid biedt voor TensorFlow-modellen over meerdere GPU's en machines, met minimale codewijzigingen. Dit voldoet aan de eis om code- en infrastructuurwijzigingen te minimaliseren, terwijl de trainingstijd drastisch wordt verkort. Een krachtigere enkele GPU zal de trainingstijd waarschijnlijk niet voldoende verkorten. Het vervangen door DeepAR vereist een volledige modelherschrijving. Amazon EMR is meer geschikt voor big data-verwerking en minder geoptimaliseerd voor gedistribueerde deep learning-training dan Horovod in combinatie met SageMaker.