Ein ML-Ingenieur konfiguriert Auto Scaling für eine Inferenzkomponente hinter einem Amazon SageMaker-Endpunkt mit einer Zielverfolgungsrichtlinie von 100 Aufrufen pro Modell pro Minute. Der Endpunkt skaliert während der Geschäftszeiten normal, aber zu Beginn jedes Geschäftstages stehen keine Instanzen zur Bearbeitung von Anfragen zur Verfügung, was zu Verzögerungen führt. Wie sollte der Ingenieur sicherstellen, dass der Endpunkt zu Beginn jedes Geschäftstages eingehende Anfragen bearbeiten kann?

Die korrekte Antwort ist, eine Step Scaling-Richtlinie mit CloudWatch-Alarmen zu verwenden, um die minimale Instanzanzahl zu Beginn jedes Geschäftstages von null auf eins zu ändern. Dies stellt sicher, dass der Endpunkt bereits Instanzen bereit hat, bevor die Anfragen eintreffen, und vermeidet so die anfänglichen Verzögerungen. Die Reduzierung der Abklingzeit und das Hinzufügen eines Lebenszyklus-Hooks würden die Skalierung beschleunigen, aber nicht das Problem der fehlenden Instanzen zu Beginn des Tages lösen. Das Ändern der Zielmetrik auf CPU-Auslastung ist nicht direkt relevant für das Problem des Kaltstarts. Das Setzen des Zielwerts der Skalierungsrichtlinie auf eins würde die Skalierung nicht dynamisch an den Bedarf anpassen und könnte zu Überprovisionierung oder Engpässen führen.