Un modelo de pronóstico de series temporales implementado en TensorFlow se ejecuta en una sola GPU y tarda aproximadamente 23 horas en entrenarse diariamente. El equipo espera que los datos de entrenamiento crezcan y necesita volver a entrenar cada hora en el futuro, minimizando los cambios en el código y la infraestructura. ¿Qué cambio permitirá mejor que el entrenamiento escale para la demanda futura?

La opción correcta es modificar el código de TensorFlow para usar Horovod. Horovod es un framework de entrenamiento distribuido que permite escalar modelos de TensorFlow (y otros) a múltiples GPUs o máquinas con cambios mínimos en el código existente. Esto es crucial porque el equipo necesita minimizar los cambios en el código y la infraestructura, y Horovod está diseñado para este propósito, además de ser compatible con Amazon SageMaker. Las otras opciones son menos adecuadas: Una GPU más potente podría reducir el tiempo de entrenamiento, pero no escalaría lo suficiente para un reentrenamiento horario con datos crecientes. Reemplazar el modelo con DeepAR implicaría un cambio significativo en el código y la lógica del modelo, lo cual el equipo quiere evitar. Mover la carga de trabajo a Amazon EMR es una opción para el procesamiento de datos distribuidos, pero no es la solución más directa ni eficiente para escalar el entrenamiento de un modelo de TensorFlow existente, ya que requeriría una reescritura considerable del proceso de entrenamiento.