A FinInsights implantou um endpoint de modelo de base JumpStart para geração de texto financeiro de baixa latência em uma instância ml.g5.xlarge. Após um piloto bem-sucedido, eles precisam de um throughput 3 vezes maior com comportamento de latência de cauda semelhante. Qual é a mudança mais direta e suportada no endpoint do SageMaker JumpStart para atender a esse requisito?

Aumentar o tipo de instância da GPU ou a contagem de instâncias é a maneira mais direta e suportada de escalar o throughput de um endpoint do SageMaker JumpStart. Instâncias maiores fornecem mais recursos de computação, enquanto múltiplas instâncias distribuem a carga, ambos aumentando o throughput. O autoescalonamento garante que o endpoint se ajuste dinamicamente à demanda. Reimplementar o modelo com a nova configuração é necessário para aplicar as mudanças. As outras opções são menos adequadas: Otimizar hiperparâmetros não aumenta diretamente o throughput do endpoint, mas sim a performance do modelo. Aceleradores Elastic Inference são projetados para otimizar o custo-benefício da inferência, não para aumentar o throughput de forma significativa em cargas de trabalho de alta demanda como essa. O SageMaker Serverless Inference é para cargas de trabalho intermitentes e não oferece o mesmo controle sobre latência de cauda que instâncias dedicadas, além de não ser a solução mais direta para um aumento de throughput de 3x com requisitos de latência específicos.