Een bedrijf host meerdere real-time SageMaker-modellen die versnelde instanties vereisen en verschillende schaalbehoeften hebben. Cold starts moeten voor elk model worden voorkomen. Welk ontwerp voldoet aan deze beperkingen?

De juiste optie is het maken van een SageMaker-endpoint met inference components. Inference components bieden de flexibiliteit om meerdere modellen op één endpoint te hosten, elk met onafhankelijke schaalconfiguraties en provisioned concurrency. Door het minimum aantal kopieën in te stellen op ten minste 1 per inference component, worden cold starts voorkomen en kunnen versnelde instanties efficiënt worden gebruikt voor elk model, zelfs met verschillende schaalbehoeften. SageMaker Serverless Inference is niet geschikt omdat het geen versnelde instanties ondersteunt en de provisioned concurrency per endpoint is, niet per model. Asynchronous Inference is bedoeld voor batchverwerking en niet voor real-time inferentie. Een multi-model endpoint is ontworpen voor het hosten van veel modellen met gedeelde resources, maar biedt geen onafhankelijke schaalbaarheid of provisioned concurrency per model, wat essentieel is om cold starts te voorkomen voor elk specifiek model met versnelde instanties.