Een mediabedrijf heeft aanbevelingen voor artikelen met lage latency nodig voor lezers in één stad. Het verkeer piekt op voorspelbare tijden (ochtend, lunch, na het werk) en is anderszins licht. Inferences zijn kleiner dan 4 MB. Welke implementatieoptie minimaliseert latency en is het meest kosteneffectief?

Serverless inference met provisioned concurrency is de meest kosteneffectieve oplossing die lage latency garandeert. De voorspelbare piekbelasting en het lichte verkeer daarbuiten maken serverless ideaal, omdat je alleen betaalt voor de daadwerkelijke computetijd. Provisioned concurrency elimineert cold-start latency, wat cruciaal is voor realtime aanbevelingen. Een real-time inference endpoint met automatisch schalen zou hogere kosten met zich meebrengen door de noodzaak om altijd instanties te draaien, zelfs tijdens daluren. Asynchrone inference en batch transform jobs zijn ongeschikt omdat ze geen lage latency leveren; ze zijn bedoeld voor niet-realtime verwerking.