Een CPU-gebaseerd model zal real-time voorspellingen leveren met intermitterend verkeer tijdens kantooruren en inactieve perioden na sluitingstijd. Welke SageMaker hostingoptie is het meest kosteneffectief voor dit patroon?

De meest kosteneffectieve optie voor intermitterend verkeer met inactieve perioden is een SageMaker Serverless Inference endpoint. Dit endpoint schaalt automatisch naar nul wanneer het niet in gebruik is, wat kosten bespaart. Door provisioned concurrency te configureren voor kantooruren, worden koude starts geminimaliseerd en snelle reactietijden gegarandeerd tijdens piekuren. Een SageMaker real-time endpoint met auto scaling is minder kosteneffectief omdat het altijd minimaal één instantie actief houdt, ook buiten kantooruren. Een Asynchronous Inference endpoint is niet geschikt voor real-time voorspellingen. Het activeren van een real-time endpoint via een Lambda-functie is onnodig complex en biedt geen voordelen ten opzichte van serverless inference.