Ein SageMaker-Produktions-Endpoint ist mit automatischer Skalierung konfiguriert. Während des Tests stellt das Team fest, dass neue Instanzen gestartet werden, der Datenverkehr jedoch an diese weitergeleitet wird, bevor sie die Initialisierung abgeschlossen haben. Sie müssen verhindern, dass neue Instanzen Datenverkehr empfangen, bevor sie bereit sind. Welche Änderung sollten Sie vornehmen?

Die Erhöhung der Cooldown-Periode für Scale-out-Aktivitäten gibt neuen Instanzen ausreichend Zeit, um vollständig initialisiert zu werden und den Datenverkehr zu verarbeiten, bevor sie in den Load Balancer aufgenommen werden. Dies verhindert, dass Anfragen an nicht bereite Instanzen gesendet werden, was zu Fehlern führen würde. Die Verringerung der Cooldown-Periode für Scale-in-Aktivitäten und die Erhöhung der maximalen Instanzkapazität würden das Problem nicht lösen, da dies die Skalierungseigenschaften betrifft, nicht die Bereitschaft der Instanzen. Ein SageMaker Multi-Model Endpoint ist für die Bereitstellung mehrerer Modelle auf denselben Instanzen gedacht und löst das Problem der Instanzinitialisierung nicht. Das Vorschalten von API Gateway und Lambda würde eine zusätzliche Komplexitätsebene hinzufügen und ist keine direkte Lösung für das Problem der Instanzbereitschaft in SageMaker.