Um endpoint SageMaker de produção está configurado com escalonamento automático. Durante os testes, a equipe observa que novas instâncias são iniciadas, mas o tráfego é roteado para elas antes que terminem de inicializar. Você precisa evitar que novas instâncias recebam tráfego até que estejam prontas. Que mudança você deve fazer?

Aumentar o período de "cooldown" para atividades de scale-out é a solução correta. O período de "cooldown" define o tempo que o Auto Scaling Group deve esperar antes de iniciar outra atividade de escalonamento após uma atividade anterior. Ao aumentá-lo, você garante que as novas instâncias tenham tempo suficiente para inicializar completamente e carregar o modelo antes de começar a receber tráfego, evitando erros e latência. Diminuir o período de "cooldown" para scale-in e aumentar a capacidade máxima não resolveria o problema, pois o problema é com a prontidão das novas instâncias, não com a capacidade máxima ou o escalonamento para baixo. Substituir por um endpoint multi-modelo não aborda o problema de inicialização de instâncias individuais. Colocar o endpoint atrás do API Gateway e Lambda adicionaria complexidade desnecessária e não resolveria intrinsecamente o tempo de inicialização da instância do SageMaker.