Een productie SageMaker-endpoint is geconfigureerd met automatische schaling. Tijdens het testen merkt het team op dat nieuwe instanties worden gestart, maar dat verkeer ernaartoe wordt geleid voordat ze volledig zijn geïnitialiseerd. Je moet voorkomen dat nieuwe instanties verkeer ontvangen totdat ze klaar zijn. Welke wijziging moet je aanbrengen?

De cooldown-periode voor scale-out-activiteiten bepaalt hoe lang Auto Scaling wacht voordat het een nieuwe schaalactiviteit start nadat de vorige is voltooid. Door deze periode te verhogen, geef je de nieuw gelanceerde instanties voldoende tijd om volledig te initialiseren en klaar te zijn om verkeer te verwerken voordat ze in de rotatie worden opgenomen. Dit voorkomt dat verkeer naar niet-geïnitialiseerde instanties wordt gestuurd, wat resulteert in fouten. Het verlagen van de cooldown-periode voor scale-in en het verhogen van de capaciteit lost het probleem van onvolledig geïnitialiseerde instanties niet op. Een multi-model endpoint is niet direct gerelateerd aan dit probleem. Het plaatsen van API Gateway en Lambda is een complexere oplossing die niet nodig is als de ingebouwde Auto Scaling-functies correct worden geconfigureerd.