Ein ML-Ingenieur trainiert mehrere Modelle mit demselben ML-Framework und möchte diese in Amazon SageMaker hosten, während die Inferenzkosten minimiert werden. Welche Hosting-Option ist die kostengünstigste?

Ein Multi-Modell-Inferenz-Endpunkt (MME) ist die kostengünstigste Option, da er es ermöglicht, mehrere Modelle auf einer einzigen SageMaker-Endpunktinstanz zu hosten. SageMaker lädt Modelle bei Bedarf dynamisch in den Speicher und entlädt sie bei Inaktivität, was die Ressourcennutzung optimiert und die Infrastrukturkosten senkt. Ein Multi-Container-Inferenz-Endpunkt ist für komplexere Inferenz-Pipelines gedacht, bei denen mehrere Container in einer bestimmten Reihenfolge aufgerufen werden müssen, was in diesem Szenario nicht die primäre Anforderung ist und potenziell höhere Kosten verursacht. Die Erstellung mehrerer Single-Modell-Inferenz-Endpunkte für jedes Modell wäre die teuerste Option, da jede Instanz nur ein Modell hosten würde, was zu einer ineffizienten Ressourcennutzung und höheren Betriebskosten führt.