Firma hostuje wiele modeli SageMaker działających w czasie rzeczywistym, które wymagają akcelerowanych instancji i mają różne potrzeby w zakresie skalowania. Należy zapobiec zimnym startom dla każdego modelu. Który projekt spełnia te ograniczenia?

Poprawna odpowiedź to utworzenie punktu końcowego SageMaker z wieloma komponentami wnioskowania (multi-model endpoint), gdzie każdy komponent reprezentuje jeden model. Skonfigurowanie automatycznego skalowania dla każdego komponentu z minimalną liczbą instancji ustawioną na co najmniej 1 (provisioned concurrency) gwarantuje, że modele są zawsze gotowe do obsługi zapytań, eliminując zimne starty. Akcelerowane instancje są obsługiwane przez SageMaker. Pozostałe opcje są nieodpowiednie: SageMaker Serverless Inference nie obsługuje akcelerowanych instancji (GPU) i nie jest przeznaczony do scenariuszy wymagających stałej dostępności bez zimnych startów dla każdego modelu z osobna. SageMaker Asynchronous Inference jest przeznaczony do wnioskowania wsadowego lub z długim czasem przetwarzania, a nie do wnioskowania w czasie rzeczywistym. Użycie wielu modeli w jednym punkcie końcowym SageMaker z bucketem S3 jest opcją, ale nie pozwala na indywidualne skalowanie i zarządzanie zasobami dla każdego modelu, co jest wymagane w tym scenariuszu.