Je moet een getraind model hosten dat gedurende de dag een onregelmatig verzoekpercentage ontvangt. De hosting moet schalen naar piekvraag, maar de kosten minimaliseren wanneer het inactief is. Welke hostingaanpak voldoet aan deze beperkingen?

De juiste aanpak is om het model te implementeren naar een Amazon SageMaker-endpoint en SageMaker endpoint autoscaling policies te configureren op basis van Amazon CloudWatch-metrics. Dit stelt het endpoint in staat om dynamisch te schalen (omhoog en omlaag) op basis van de vraag, waardoor het kan omgaan met pieken en de kosten minimaliseert tijdens perioden van inactiviteit. AWS Lambda-functies met vaste gelijktijdigheid zijn niet ideaal, omdat "vaste gelijktijdigheid" betekent dat het niet automatisch schaalt met de vraag. Een Amazon ECS-cluster op AWS Fargate met een statisch aantal taken afgestemd op de piekbelasting zou leiden tot onnodig hoge kosten tijdens perioden van lage vraag. Het hosten van meerdere kopieën achter een Application Load Balancer via een SageMaker-endpoint zou wel schalen, maar zonder autoscaling policies zou het aantal kopieën niet dynamisch worden aangepast, wat ook tot hogere kosten zou leiden bij inactiviteit.