Een model moet één keer per nacht worden uitgevoerd om de aandelenwaarden van de volgende dag te voorspellen. De invoer is 3 MB die die dag is verzameld en de inferentie is binnen 1 minuut voltooid. Hoe moet u dit model in Amazon SageMaker implementeren om aan deze vereisten te voldoen?

De juiste keuze is een serverless inference endpoint met MaxConcurrency ingesteld op 1. Dit is ideaal voor batchgewijze, periodieke inferentie met lage frequentie, zoals één keer per nacht. Serverless endpoints schalen automatisch naar nul wanneer ze niet in gebruik zijn, wat kosten bespaart. MaxConcurrency op 1 zorgt ervoor dat er slechts één aanvraag tegelijk wordt verwerkt, wat past bij de beschrijving van één nachtelijke run. Een multi-model serverless endpoint is nuttig voor het hosten van meerdere modellen op één endpoint, wat hier niet nodig is. Asynchronous inference endpoints zijn geschikt voor grote payloads of lange verwerkingstijden, wat niet het geval is (3 MB, 1 minuut). Real-time endpoints met autoscaling naar 0 kunnen werken, maar serverless is eenvoudiger te beheren en vaak kosteneffectiever voor dit specifieke patroon.