Een luchtvaartmaatschappij gebruikt een SageMaker real-time endpoint om ticketprijzen aan te passen op basis van de vraag. Eerdere deployments schaalden niet snel genoeg op toen het websiteverkeer toenam. De ML-engineer moet target-tracking auto scaling configureren om snel te reageren op plotselinge verkeerspieken. Welke configuratie zal het meest responsief zijn?

De meest responsieve configuratie voor plotselinge verkeerspieken is het gebruik van de SageMaker InvocationsPerInstance metric met een hoge-resolutie van 10 seconden intervallen. Dit zorgt ervoor dat CloudWatch de metric vaker rapporteert, waardoor SageMaker Auto Scaling sneller kan reageren op veranderingen in de belasting. Het behouden van de standaard 300 seconden scale-in cooldown is ook optimaal. Een langere cooldown (600 seconden) zou de schaalverkleining vertragen, wat onnodige kosten kan veroorzaken na een piek. Een kortere cooldown is niet expliciet een optie, en de standaard metric (zonder hoge-resolutie) is minder responsief dan de hoge-resolutie variant.