Firma przeprowadza wnioskowanie w czasie rzeczywistym za pomocą SageMaker. Automatyczne skalowanie instancji EC2 obsługujących punkt końcowy uruchamia nowe instancje, zanim poprzednie instancje skalowane w poziomie będą w pełni gotowe, co powoduje nieefektywność i opóźnienia. Która zmiana poprawi zachowanie skalowania przy zachowaniu wydajności czasu odpowiedzi?

Wydłużenie okresu wygaszania po działaniach skalowania w poziomie (scale-out cooldown period) jest prawidłową odpowiedzią, ponieważ daje nowo uruchomionym instancjom wystarczająco dużo czasu na pełne zainicjowanie i przygotowanie do obsługi ruchu, zanim system skalowania rozważy uruchomienie kolejnych instancji. Zapobiega to nieefektywności, w której system próbuje skalować się dalej, zanim poprzednie instancje będą gotowe, co prowadzi do opóźnień. Zmiana konfiguracji punktu końcowego na multi-model nie rozwiązuje problemu skalowania instancji. Integracja Amazon API Gateway i AWS Lambda dodaje warstwy pośrednie, ale nie wpływa bezpośrednio na czas inicjalizacji instancji SageMaker. Skrócenie okresu wygaszania dla działań skalowania w dół lub zwiększenie maksymalnej liczby instancji nie rozwiąże problemu z niedostatecznym czasem na uruchomienie nowych instancji podczas skalowania w poziomie.