Um engenheiro de ML configura o auto scaling para um componente de inferência por trás de um endpoint do Amazon SageMaker com uma política de rastreamento de destino de 100 invocações por modelo por minuto. O endpoint escala normalmente durante o horário comercial, mas no início de cada dia útil não há instâncias disponíveis para lidar com as solicitações, causando atrasos. Como o engenheiro deve garantir que o endpoint possa lidar com as solicitações de entrada no início de cada dia útil?

A opção correta é usar uma política de escalonamento por etapas com um alarme do CloudWatch para aumentar a contagem mínima de instâncias no início do dia. Isso garante que o endpoint tenha instâncias prontas para lidar com o tráfego inicial, evitando atrasos. A política de rastreamento de destino atual funciona bem durante o horário comercial, mas não prevê o aumento súbito de demanda após um período de inatividade. Reduzir o período de "cooldown" ou adicionar um "lifecycle hook" não resolveria o problema de instâncias insuficientes no início do dia, pois o auto scaling ainda precisaria de tempo para reagir à demanda. Alterar a métrica para utilização da CPU pode não ser tão eficaz quanto invocações por modelo e não resolveria o problema de "cold start". Definir o valor de destino para um não é uma solução de escalabilidade e pode levar a custos desnecessários ou desempenho inadequado.