Een bedrijf moet een op maat getraind classificatiemodel implementeren op AWS om bijna real-time voorspellingen met lage latentie te leveren en om variërende aanvraagvolumes te verwerken. Welke implementatieoptie voldoet aan deze vereisten?

De juiste optie is om het model te implementeren als een Amazon SageMaker real-time endpoint en auto scaling te configureren. SageMaker real-time endpoints zijn ontworpen voor lage latentie, bijna real-time inferentie en kunnen automatisch schalen om variërende aanvraagvolumes te verwerken, wat perfect aansluit bij de vereisten. Een Amazon SageMaker batch transform job is ongeschikt omdat het bedoeld is voor offline, batchgewijze inferentie en niet voor bijna real-time voorspellingen met lage latentie. Het plaatsen van Amazon API Gateway voor een S3-bucket met modelbestanden is geen complete inferentieoplossing; het mist de rekenkracht en de functionaliteit om daadwerkelijk voorspellingen te genereren. Het opzetten van EC2-instanties met Deep Learning AMIs achter een Application Load Balancer is een handmatige en complexere aanpak die meer beheer vereist dan een beheerde dienst zoals SageMaker, en biedt niet dezelfde naadloze auto scaling voor ML-workloads.