MedScan Health benötigt einen SageMaker-Endpunkt, der für jede Anfrage nacheinander einen Bildvorverarbeitungs-Container, dann einen TensorFlow-Modell-Container und dann einen Nachverarbeitungs-Container ausführt. Sie möchten eine einzige HTTP-Endpunkt-URL für Clients. Welcher SageMaker-Bereitstellungsansatz erfüllt diese Anforderung am besten mit minimalem zusätzlichem Netzwerkaufwand und korrektem Modelllebenszyklusverhalten?

Die Erstellung einer Inferenz-Pipeline mit einem einzigen SageMaker-Modell, das mehrere Container-Definitionen in der richtigen Reihenfolge enthält, ist die beste Lösung. SageMaker Inferenz-Pipelines sind speziell dafür konzipiert, eine Abfolge von Containern (z. B. Vorverarbeitung, Modell, Nachverarbeitung) für jede Inferenzanfrage auszuführen, wobei die Ausgaben eines Containers automatisch als Eingaben für den nächsten Container dienen. Dies bietet eine einzige Endpunkt-URL und minimiert den Netzwerk-Overhead, da die Container innerhalb derselben Endpunktinstanz kommunizieren. Das Bereitstellen separater Endpunkte mit einem Application Load Balancer und Lambda würde zu zusätzlichem Netzwerk-Overhead und erhöhter Latenz führen, da jede Komponente separat aufgerufen werden müsste. Ein Multi-Model-Endpunkt ist für die Bereitstellung mehrerer Modelle auf derselben Endpunktinstanz vorgesehen, nicht für die Verkettung von Verarbeitungsstufen für eine einzelne Anfrage. SageMaker Processing Jobs sind für Batch-Verarbeitung und nicht für Echtzeit-Inferenz konzipiert.