Una compagnia aerea esegue un endpoint SageMaker in tempo reale per adeguare i prezzi dei biglietti in base alla domanda. I deployment precedenti non sono riusciti a scalare abbastanza rapidamente quando il traffico del sito web è aumentato. L'ingegnere ML deve configurare l'auto scaling con tracciamento del target per rispondere rapidamente a picchi di traffico improvvisi. Quale configurazione sarà più reattiva?

La configurazione più reattiva per l'auto scaling con tracciamento del target richiede una metrica che rifletta accuratamente il carico e una risoluzione elevata per rilevare rapidamente i picchi. La metrica SageMaker InvocationsPerInstance è ideale perché misura il numero di invocazioni per istanza, indicando direttamente il carico di lavoro. L'utilizzo di intervalli ad alta risoluzione di 10 secondi per questa metrica consente a SageMaker di reagire molto più velocemente ai cambiamenti improvvisi nel traffico rispetto agli intervalli standard di 1 minuto. Mantenere il cooldown di scale-in predefinito di 300 secondi è accettabile, poiché l'obiettivo principale è la reattività allo scale-out per gestire i picchi, e un cooldown più lungo per lo scale-in (come 600 secondi) ritarderebbe inutilmente la riduzione delle istanze quando il traffico diminuisce.