Un'azienda esegue inferenze in tempo reale con SageMaker. L'auto scaling per le istanze EC2 che supportano l'endpoint avvia nuove istanze prima che le precedenti istanze di scale-out siano completamente pronte, causando inefficienze e ritardi. Quale modifica migliorerà il comportamento di scaling preservando le prestazioni del tempo di risposta?

Aumentare il periodo di cooldown dopo le attività di scale-out è la soluzione migliore. Questo parametro definisce il tempo di attesa prima che Auto Scaling Group avvii un'altra attività di scaling dopo un'azione di scale-out. Aumentando il cooldown, si concede alle nuove istanze il tempo necessario per inizializzarsi completamente e diventare pronte a gestire il traffico, evitando che il sistema tenti di scalare ulteriormente mentre le risorse non sono ancora operative. Passare a una configurazione multi-modello non risolve il problema di scaling delle istanze EC2 sottostanti. Integrare API Gateway e Lambda non affronta direttamente il comportamento di scaling delle istanze SageMaker. Diminuire il periodo di cooldown per le attività di scale-in e aumentare il numero massimo di istanze non risolve il problema delle istanze che non sono pronte in tempo dopo uno scale-out.