Ein ML-Ingenieur muss vier Modelle (jedes mit einem anderen Framework erstellt) in eine SageMaker-Inferenz-Pipeline deployen und Clients ermöglichen, invoke_endpoint für jedes Modell aufzurufen. Welche kostengünstige Lösung erfüllt diese Anforderungen?

Ein SageMaker Multi-Container Endpoint ist die kostengünstigste Lösung, da er es ermöglicht, mehrere Modelle, die in verschiedenen Frameworks erstellt wurden, in einer einzigen Endpunkt-Instanz zu hosten. Jedes Modell läuft in einem eigenen Container, was die Isolation und das Management vereinfacht. Clients können dann den invokeendpoint-Aufruf nutzen, um spezifische Modelle innerhalb dieses Endpunkts anzusprechen. Ein Multi-Model Endpoint ist für eine große Anzahl von Modellen gedacht, die dasselbe Framework nutzen und dynamisch geladen werden können, was hier nicht der Fall ist. Mehrere Single-Model Endpoints wären teurer, da für jedes Modell eine eigene Instanz läuft. Ein SparkML-Job hat keine direkte Relevanz für das Deployment von Inferenz-Endpunkten.