Een productie ML-pipeline op Amazon SageMaker verwerkt inputs tot 1 GB en jobs die tot een uur kunnen duren, maar de applicatie vereist bijna real-time responses. Welke SageMaker inferentie-optie is het meest geschikt?

Asynchrone inferentie is het meest geschikt omdat het ontworpen is voor grote payloads (tot 1 GB) en lange verwerkingstijden (tot een uur), terwijl het toch bijna real-time responsen kan leveren. Het plaatst verzoeken in een wachtrij en verwerkt ze asynchroon, wat efficiënt is voor deze scenario's. Real-time inferentie is bedoeld voor snelle, kleine verzoeken met lage latentie. Serverless inferentie is geschikt voor workloads met intermitterende of onvoorspelbare verkeerspatronen, maar heeft beperkingen op payloadgrootte en verwerkingstijd die mogelijk niet voldoen aan de vereisten van 1 GB en een uur. Batch transform is voor offline verwerking van grote datasets en levert geen bijna real-time responsen.