Una startup ejecuta un entrenamiento complejo de redes neuronales profundas utilizando GPU. El flujo de trabajo extrae conjuntos de datos de S3, carga un modelo de TensorFlow desde el repositorio git de la empresa, se ejecuta localmente y escribe el progreso en S3. El trabajo admite la pausa y la reanudación, se pone en cola de forma centralizada y actualmente tarda varias horas. Los gerentes quieren que esta carga de trabajo semanal se automatice para que se ejecute cada lunes y se complete antes del viernes al menor costo posible mientras se escala. ¿Qué arquitectura satisface mejor este requisito al menor costo?

La opción correcta es empaquetar la carga de trabajo en AWS Deep Learning Containers y ejecutarla como un trabajo en AWS Batch utilizando instancias Spot con capacidad de GPU. AWS Batch es ideal para cargas de trabajo por lotes que requieren escalabilidad y programación, y su integración con instancias Spot reduce significativamente los costos. Los Deep Learning Containers proporcionan un entorno preconfigurado y optimizado para TensorFlow. Las instancias Spot son la opción de menor costo para cargas de trabajo tolerantes a interrupciones como esta. Las otras opciones son menos óptimas: Una instancia EC2 de GPU de bajo costo ejecutándose continuamente sería más cara y no aprovecharía la escalabilidad ni la tolerancia a fallos. AWS Fargate no admite GPU, lo que lo hace inadecuado para el entrenamiento de redes neuronales profundas. Amazon ECS con instancias Spot es una opción viable, pero AWS Batch está diseñado específicamente para la gestión de trabajos por lotes, ofreciendo una mejor orquestación y optimización de recursos para este caso de uso.