Een ML-model zal klanten in een online applicatie scoren om te bepalen welk product moet worden getoond. De engineer moet de responslatentie minimaliseren. Hoe moet het model in SageMaker worden geïmplementeerd om te voldoen aan de vereisten voor lage latentie?

Een real-time inference endpoint is de beste keuze omdat het is ontworpen voor onmiddellijke respons op individuele verzoeken, wat cruciaal is voor het minimaliseren van responslatentie in een online applicatie. Batch transform is ongeschikt omdat het bedoeld is voor offline verwerking van grote datasets en niet voor interactieve, lage-latentie scenario's. Serverless inference endpoints bieden schaalbaarheid en kostenbesparingen, maar kunnen hogere opstartlatentie (cold start) hebben dan een dedicated real-time endpoint, wat niet optimaal is voor strikte latentie-eisen. Asynchronous inference endpoints zijn ontworpen voor lange verwerkingstijden en batchverzoeken, waarbij de respons niet onmiddellijk hoeft te zijn, en zijn daarom niet geschikt voor lage latentie.