Een aangepast voorspellingsmodel moet worden gehost; de workload is voorspelbaar en constant gedurende hetzelfde 2-uur durende venster elke dag, met veel aanroepen die snelle reacties vereisen. Het bedrijf wil dat AWS de infrastructuur en autoscaling beheert. Welke hostingoptie voldoet aan deze vereisten?

Amazon SageMaker Serverless Inference is ideaal voor workloads met een voorspelbaar, constant patroon, zoals hier beschreven. Het beheert automatisch de onderliggende infrastructuur en schaalt op basis van de vraag, wat voldoet aan de eis dat AWS de infrastructuur en autoscaling beheert. Het configureren van provisioned concurrency zorgt voor snelle reacties door de containers vooraf warm te houden, wat essentieel is voor de "snelle reacties" vereiste. Een SageMaker batch transform job is geschikt voor offline verwerking van grote datasets, niet voor realtime voorspellingen die snelle reacties vereisen. Een EC2 Auto Scaling group met geplande schaling vereist meer handmatig beheer van de infrastructuur en het model, wat in strijd is met de wens dat AWS dit beheert. Een Amazon EKS cluster biedt veel flexibiliteit, maar vereist aanzienlijk meer operationele overhead voor het beheer van het cluster en de pod autoscaling, wat niet optimaal is als AWS de infrastructuur moet beheren.