RetailVision heeft 240 personalisatiemodellen per winkel (elk ~120 MB) die zelden worden opgevraagd (minuten tussen verzoeken per model). Ze hosten momenteel elk model als een afzonderlijk endpoint, wat kostbaar is. Ze willen consolideren om de kosten te minimaliseren, terwijl de acceptabele cold-start latentie behouden blijft wanneer een model voor het eerst wordt opgevraagd. Wat is de beste SageMaker-hostingbenadering om de kosten in dit scenario te verlagen?

De beste benadering is een enkel SageMaker multi-model endpoint. Dit consolideert honderden modellen op minder instances, waardoor de kosten aanzienlijk dalen. Modellen worden on-demand geladen vanuit S3, wat ideaal is voor zelden opgevraagde modellen en de acceptabele cold-start latentie behoudt. Het is cruciaal dat het instance-geheugen voldoende is voor gelijktijdige actieve modellen. Het vervangen door EC2-instances met een aangepaste Flask-server is minder schaalbaar en vereist meer operationeel beheer dan SageMaker. 240 multi-container real-time endpoints met autoscaling naar nul per model is kostbaar vanwege de overhead per endpoint en de complexiteit van het beheer van zoveel afzonderlijke endpoints. Asynchrone inferentie is niet geschikt voor real-time personalisatiemodellen en het behouden van afzonderlijke endpoints is duur.