BrightDrive wil een real-time GPU-endpoint met weinig verkeer vervangen door SageMaker Serverless Inference om kosten te besparen. Ze moeten de gelijktijdigheid (concurrency) beheren en de afwegingen met betrekking tot latentie begrijpen. Welke bewering beschrijft het meest nauwkeurig hoe serverless te configureren en de afwegingen vergeleken met een persistent real-time endpoint?

De correcte optie beschrijft nauwkeurig de kenmerken van SageMaker Serverless Inference. Serverless endpoints schalen automatisch van nul, wat resulteert in cold-start latentie voor de eerste aanvragen, maar zijn kosteneffectief voor intermitterend verkeer. Het configureren van MaxConcurrency en geheugengrootte is essentieel. Een persistent real-time endpoint biedt daarentegen lagere, consistentere latentie en ondersteunt GPU's en provisioned capacity, wat ontbreekt bij serverless. De andere opties zijn onjuist: Serverless ondersteunt geen GPU-instancetypen, zelfs niet met ProvisionedConcurrency. Serverless inference heeft wel degelijk concurrency-instellingen (MaxConcurrency) en is niet beperkt tot één gelijktijdige aanroep. Overschakelen naar Serverless garandeert geen identieke p99-latentie; cold starts kunnen optreden, zelfs als MaxConcurrency 1, omdat het systeem van nul kan opschalen.