Uma empresa executa inferências em tempo real com o SageMaker. O auto scaling para as instâncias EC2 que dão suporte ao endpoint lança novas instâncias antes que as instâncias de scale-out anteriores estejam totalmente prontas, causando ineficiências e atrasos. Qual mudança melhorará o comportamento de escalabilidade, preservando o desempenho do tempo de resposta?

Aumentar o período de cooldown após atividades de scale-out permite que as novas instâncias EC2 lancem e inicializem completamente antes que o auto scaling avalie novamente a necessidade de mais instâncias. Isso evita o lançamento prematuro de instâncias adicionais, que causa ineficiências e atrasos. Manter o desempenho do tempo de resposta é crucial, e um cooldown adequado garante que as instâncias estejam prontas para processar requisições. Mudar para uma configuração de endpoint de multi-modelo não resolve o problema de inicialização de instâncias. Integrar API Gateway e Lambda adiciona complexidade e não aborda diretamente o comportamento do auto scaling do SageMaker. Diminuir o cooldown para scale-in e aumentar o número máximo de instâncias não resolve o problema de instâncias não prontas durante o scale-out.