Uma empresa hospeda um classificador de imagens CNN PyTorch personalizado em um endpoint do SageMaker e deseja maior throughput e menor latência para os usuários. Qual opção é a maneira mais econômica de melhorar o desempenho?

Habilitar o Amazon Elastic Inference (EI) é a maneira mais econômica de melhorar o throughput e reduzir a latência. O EI permite anexar aceleração de GPU de baixo custo a instâncias de CPU ou GPU, otimizando o uso de recursos para inferência. Treinar novamente a CNN com mais camadas e um conjunto de dados maior pode melhorar a precisão, mas não garante melhorias de desempenho de inferência e pode aumentar os custos. Treinar com um conjunto de dados menor provavelmente degradaria a precisão. Mudar para um tipo de instância com várias GPUs é uma opção mais cara, pois você pagaria por GPUs completas que podem ser subutilizadas apenas para inferência, enquanto o EI oferece uma fração do custo de uma GPU completa.