Inżynier ML konfiguruje automatyczne skalowanie dla komponentu wnioskowania za punktem końcowym Amazon SageMaker z polityką śledzenia celu wynoszącą 100 wywołań na model na minutę. Punkt końcowy skaluje się normalnie w godzinach pracy, ale na początku każdego dnia roboczego nie ma dostępnych instancji do obsługi żądań, co powoduje opóźnienia. Jak inżynier powinien zapewnić, że punkt końcowy będzie w stanie obsłużyć przychodzące żądania na początku każdego dnia roboczego?

Prawidłowa odpowiedź to użycie polityki skalowania krokowego sterowanej alarmem Amazon CloudWatch i dodanie drugiego alarmu CloudWatch oraz polityki skalowania, aby zmienić minimalną liczbę instancji z zera na jeden na początku każdego dnia roboczego. To rozwiązanie pozwala proaktywnie zwiększyć liczbę instancji przed szczytem ruchu, zapewniając dostępność zasobów i eliminując opóźnienia. Polityka śledzenia celu reaguje na obciążenie, ale potrzebuje czasu na skalowanie, co prowadzi do opóźnień na początku dnia. Zmiana metryki docelowej na wykorzystanie procesora lub ustawienie wartości docelowej na jeden nie rozwiązuje problemu zimnego startu. Zmniejszenie okresu wygaszania i dodanie haka cyklu życia nie gwarantuje dostępności instancji przed szczytem ruchu.