Un endpoint SageMaker di produzione è configurato con scalabilità automatica. Durante i test, il team osserva che vengono avviate nuove istanze, ma il traffico viene instradato ad esse prima che abbiano terminato l'inizializzazione. È necessario impedire che le nuove istanze ricevano traffico finché non sono pronte. Quale modifica dovresti apportare?

Aumentare il periodo di cooldown per le attività di scale-out è la soluzione corretta. Il periodo di cooldown è il tempo che intercorre tra il completamento di un'attività di dimensionamento e l'avvio di un'altra. Aumentandolo, si concede alle nuove istanze il tempo necessario per inizializzare completamente prima che il traffico venga instradato verso di esse, prevenendo errori o latenze. Diminuire il periodo di cooldown per le attività di scale-in e aumentare la capacità massima non risolverebbe il problema dell'inizializzazione delle nuove istanze durante lo scale-out. Sostituire l'endpoint con un endpoint multi-modello SageMaker non è direttamente correlato alla gestione del traffico durante lo scale-out delle istanze. Preporre API Gateway e Lambda aggiungerebbe complessità e non è la soluzione nativa per gestire il comportamento di cooldown dello scale-out di SageMaker.