Produkcyjny endpoint SageMaker jest skonfigurowany z automatycznym skalowaniem. Podczas testów zespół zauważa, że nowe instancje są uruchamiane, ale ruch jest do nich kierowany, zanim zakończą inicjalizację. Musisz zapobiec kierowaniu ruchu do nowych instancji, dopóki nie będą gotowe. Jaką zmianę należy wprowadzić?

Zwiększenie okresu wyciszenia (cooldown period) dla działań zwiększających skalę (scale-out) jest kluczowe. Okres wyciszenia to czas, przez który grupa Auto Scaling ignoruje kolejne alarmy skalowania po zakończeniu poprzedniej aktywności skalowania. Ustawienie dłuższego okresu wyciszenia dla scale-out daje nowo uruchomionym instancjom wystarczająco dużo czasu na pełną inicjalizację i załadowanie modelu, zanim ruch zostanie do nich skierowany. Pozostałe opcje są nieprawidłowe: Zmniejszenie okresu wyciszenia dla działań zmniejszających skalę i zwiększenie maksymalnej pojemności nie rozwiąże problemu z kierowaniem ruchu do niegotowych instancji. Zastąpienie endpointu endpointem multi-modelowym nie adresuje problemu inicjalizacji instancji, a jedynie zmienia sposób hostowania wielu modeli. Umieszczenie API Gateway i Lambda przed endpointem SageMaker wprowadza dodatkową złożoność i nie jest standardowym rozwiązaniem problemu z gotowością instancji w Auto Scaling.