Adverto evalueert SageMaker Serverless Inference versus een always-on real-time endpoint voor een batch modellen met zeer grillig verkeer (vele minuten zonder requests, af en toe pieken). Welke bewering over het kostenmodel van Serverless Inference versus een always-on real-time endpoint is het meest accuraat voor het minimaliseren van kosten in deze workload?

Serverless Inference is kosteneffectiever voor grillig verkeer met een lage duty-cycle omdat het factureert per aanroep en de duur van de berekening (GB-seconden). Dit betekent dat u alleen betaalt wanneer het endpoint actief is en verzoeken verwerkt. Een always-on real-time endpoint daarentegen, factureert per instance-uur, ongeacht of het verzoeken ontvangt of niet. Dit maakt het duurder voor workloads met lange periodes van inactiviteit. Serverless Inference heeft geen vast maandelijks bedrag en is niet identiek aan Lambda-prijzen, die een gratis tier omvatten. Always-on real-time endpoints brengen wel kosten met zich mee, zelfs als ze inactief zijn.