Een ML-engineer moet vier modellen (elk gebouwd met een ander framework) implementeren in een SageMaker inference pipeline en clients in staat stellen om invoke_endpoint aan te roepen voor elk model. Welke kosteneffectieve oplossing voldoet aan deze vereisten?

Een SageMaker multi-container endpoint is de meest kosteneffectieve oplossing. Het stelt u in staat om meerdere modellen, elk in hun eigen container (en potentieel met verschillende frameworks), te implementeren achter één enkel endpoint. Clients kunnen dan invokeendpoint aanroepen en het specifieke model identificeren dat ze willen gebruiken. Dit is kosteneffectief omdat u betaalt voor één endpoint en de onderliggende infrastructuur, in plaats van voor meerdere afzonderlijke endpoints. Een SageMaker multi-model endpoint is bedoeld voor het hosten van honderden of duizenden modellen die dezelfde container delen, wat hier niet het geval is aangezien de modellen verschillende frameworks gebruiken. Meerdere SageMaker single-model endpoints zouden duurder zijn, omdat u voor elk endpoint afzonderlijk betaalt. Een SparkML-taak is geen geschikte oplossing voor het hosten van inference endpoints.