BrightDrive vuole sostituire un endpoint GPU in tempo reale a basso traffico con SageMaker Serverless Inference per risparmiare sui costi. Devono controllare la concorrenza e comprendere i compromessi in termini di latenza. Quale affermazione descrive più accuratamente come configurare il serverless e i compromessi rispetto a un endpoint persistente in tempo reale?

La configurazione di SageMaker Serverless Inference con MaxConcurrency e una dimensione di memoria appropriata è il modo corretto per gestire il traffico intermittente e controllare la concorrenza. Il serverless scala da zero, il che introduce latenza di cold-start per le prime richieste, un compromesso accettabile per carichi di lavoro a basso traffico e intermittenti che beneficiano del risparmio sui costi. Tuttavia, gli endpoint persistenti in tempo reale offrono una latenza inferiore e più coerente e supportano istanze GPU e capacità provisionata, rendendoli più adatti per carichi di lavoro ad alto traffico o che richiedono GPU. Le altre opzioni sono errate perché: SageMaker Serverless Inference non supporta istanze GPU. ProvisionedConcurrency è per evitare cold start, ma non abilita le GPU per il serverless. Serverless Inference ha impostazioni di concorrenza (MaxConcurrency) e non è limitato a una singola invocazione. Il passaggio a Serverless non garantisce una latenza p99 identica a un endpoint in tempo reale, a causa dei cold start e della natura del ridimensionamento. I cold start si verificano indipendentemente dal valore di MaxConcurrency.