Een bedrijf voert real-time inferenties uit met SageMaker. Auto scaling voor de EC2-instances die de endpoint ondersteunen, start nieuwe instances voordat eerdere scale-out instances volledig gereed zijn, wat leidt tot inefficiënties en vertragingen. Welke wijziging zal het schaalgedrag verbeteren met behoud van de respons-tijdprestaties?

Het verhogen van de cooldown-periode na scale-out activiteiten zorgt ervoor dat SageMaker Auto Scaling langer wacht voordat het opnieuw schaalbeslissingen neemt na een schaalvergroting. Dit geeft de nieuw gelanceerde instances voldoende tijd om volledig te initialiseren en klaar te zijn voor verkeer, wat inefficiënties en vertragingen voorkomt. Het wijzigen naar een multi-model endpoint is geen directe oplossing voor het timingprobleem van Auto Scaling. Het integreren van API Gateway en Lambda voegt complexiteit toe zonder het onderliggende schaalgedrag te corrigeren. Het verlagen van de cooldown-periode voor scale-in en het verhogen van het maximale aantal instances lost het probleem van te snel opschalen niet op; het kan zelfs leiden tot hogere kosten en onnodige capaciteit.