Een ML-engineer configureert autoscaling voor een inference-component achter een Amazon SageMaker-endpoint met een target-tracking policy van 100 invocations per model per minuut. Het endpoint schaalt normaal tijdens kantooruren, maar aan het begin van elke werkdag zijn er nul instances beschikbaar om verzoeken af te handelen, wat vertragingen veroorzaakt. Hoe moet de engineer ervoor zorgen dat het endpoint inkomende verzoeken aan het begin van elke werkdag kan afhandelen?

De juiste oplossing is om een step scaling policy te gebruiken die wordt geactiveerd door een CloudWatch-alarm, en een tweede CloudWatch-alarm en schaalbeleid toe te voegen om het minimale aantal instances van nul naar één te wijzigen aan het begin van elke werkdag. Dit zorgt ervoor dat er altijd minimaal één instance beschikbaar is wanneer de vraag toeneemt, waardoor de vertragingen aan het begin van de werkdag worden voorkomen. Het verlagen van de cooldown-periode en het toevoegen van een lifecycle hook (optie 1) helpt niet direct bij het probleem van nul instances bij de start. Het wijzigen van de doelmetriek naar CPU-gebruik (optie 2) kan leiden tot onvoorspelbaar schaalgedrag, aangezien invocaties een directere indicator zijn van de werklast. Het instellen van de doelwaarde van het schaalbeleid op één (optie 3) is niet voldoende, omdat dit nog steeds kan leiden tot nul instances als de vraag wegvalt.