BrightDrive chce zastąpić mało obciążony punkt końcowy GPU czasu rzeczywistego usługą SageMaker Serverless Inference w celu obniżenia kosztów. Muszą kontrolować współbieżność i rozumieć kompromisy związane z opóźnieniami. Które stwierdzenie najdokładniej opisuje, jak skonfigurować usługę bezserwerową i jakie są kompromisy w porównaniu z trwałym punktem końcowym czasu rzeczywistego?

Poprawna odpowiedź opisuje kluczowe aspekty SageMaker Serverless Inference. Można skonfigurować MaxConcurrency i rozmiar pamięci, aby kontrolować zasoby. Usługa bezserwerowa skaluje się do zera, co jest opłacalne dla sporadycznego ruchu, ale wiąże się z opóźnieniami zimnego startu dla pierwszych żądań. Trwałe punkty końcowe w czasie rzeczywistym oferują niższe, bardziej spójne opóźnienia i obsługują GPU, co jest kluczowe dla obciążeń wymagających wysokiej wydajności. Niepoprawne opcje: Ustawienie ProvisionedConcurrency nie jest dostępne dla Serverless Inference. Serverless Inference nie obsługuje również typów instancji GPU. Serverless Inference ma ustawienia współbieżności (MaxConcurrency). Przejście na Serverless nie gwarantuje identycznych opóźnień p99, a zimne starty występują niezależnie od MaxConcurrency 1.