Una empresa aloja un clasificador de imágenes CNN de PyTorch personalizado en un endpoint de SageMaker y desea mayor rendimiento (throughput) y menor latencia para los usuarios. ¿Cuál es la forma más rentable de mejorar el rendimiento?

Habilitar Amazon Elastic Inference (EI) es la forma más rentable de mejorar el rendimiento. EI permite adjuntar aceleradores de GPU de bajo costo a instancias de CPU o GPU de Amazon EC2 y SageMaker, lo que reduce el costo de inferencia hasta en un 75% al tiempo que mejora el rendimiento y la latencia. Reentrenar la CNN con más capas y un conjunto de datos más grande o más pequeño aumentaría la complejidad del modelo y el tiempo de inferencia, no lo reduciría. Cambiar a un tipo de instancia con múltiples GPU aumentaría el rendimiento, pero sería significativamente más costoso que usar Elastic Inference, que optimiza el uso de recursos de GPU.