MedScan Health necessita di un endpoint SageMaker che esegua in sequenza un container di pre-elaborazione delle immagini, poi un container di modello TensorFlow, poi un container di post-elaborazione per ogni richiesta. Desiderano un singolo URL di endpoint HTTP per i client. Quale approccio di deployment SageMaker soddisfa al meglio questo requisito con una minima rete aggiuntiva e un corretto comportamento del ciclo di vita del modello?

La creazione di una pipeline di inferenza SageMaker è la soluzione più efficiente. Consente di concatenare più container (pre-elaborazione, modello, post-elaborazione) in un unico endpoint HTTP. SageMaker gestisce automaticamente l'orchestrazione e il passaggio dei dati tra i container, riducendo la latenza di rete e la complessità operativa. Questo approccio garantisce un comportamento corretto del ciclo di vita del modello, poiché l'intera pipeline è gestita come un'unica entità di deployment. Le altre opzioni sono meno ideali: Tre endpoint separati con ALB + Lambda introducono latenza di rete e complessità di gestione aggiuntive. Un endpoint multi-modello è progettato per ospitare più modelli che possono essere invocati dinamicamente, non per concatenare fasi sequenziali di una singola inferenza. I job SageMaker Processing sono asincroni e non adatti per l'inferenza in tempo reale che richiede un singolo URL HTTP e una risposta immediata.