MedScan Health heeft een SageMaker-endpoint nodig dat een container voor beeldvoorverwerking, vervolgens een TensorFlow-modelcontainer en daarna een container voor nabewerking sequentieel uitvoert voor elke aanvraag. Ze willen één HTTP-endpoint-URL voor clients. Welke SageMaker-implementatiebenadering voldoet het beste aan deze vereiste met minimale extra netwerken en correct gedrag van de modellifecycle?

De inferentiepijplijn in SageMaker is de meest geschikte oplossing. Het stelt u in staat om meerdere containers (voorverwerking, model, nabewerking) sequentieel te koppelen binnen één SageMaker Model-definitie, wat resulteert in één HTTP-endpoint-URL. SageMaker beheert de orchestratie en het doorgeven van gegevens tussen de containers, wat de netwerklatentie minimaliseert en de modellifecycle vereenvoudigt. Het implementeren van drie afzonderlijke endpoints met een ALB en Lambda introduceert onnodige complexiteit en extra netwerk-hops. Een multi-model endpoint is bedoeld voor het hosten van meerdere modellen op één instantie, niet voor het sequentiële uitvoeren van een pijplijn van stappen. Het gebruik van SageMaker Processing jobs is bedoeld voor batchverwerking of grotere, langlopende taken, niet voor real-time inferentie met lage latentie.