Um modelo de previsão de séries temporais implementado em TensorFlow é executado em uma única GPU e leva cerca de 23 horas para treinar diariamente. A equipe espera que os dados de treinamento cresçam e precisa retreinar a cada hora no futuro, minimizando as alterações de código e infraestrutura. Qual mudança permitirá melhor que o treinamento seja dimensionado para a demanda futura?

A opção correta é modificar o código TensorFlow para usar o Horovod e paralelizar o treinamento. O Horovod é um framework de treinamento distribuído que permite escalar o treinamento de modelos TensorFlow (e outros frameworks) em várias GPUs e máquinas, minimizando as alterações de código. Isso atende ao requisito de reduzir o tempo de treinamento de 23 horas para 1 hora e suportar o crescimento futuro dos dados, sem grandes modificações na infraestrutura. Manter o código inalterado e usar uma GPU mais poderosa pode não ser suficiente para o crescimento futuro e as exigências de tempo. Substituir o modelo por DeepAR seria uma mudança significativa de código e potencialmente de arquitetura do modelo. Mover para o Amazon EMR exigiria reescrever o código para um ambiente Spark, o que é uma grande alteração de código e infraestrutura.