Een geïmplementeerd model gebaseerd op een genetisch algoritme kan enkele minuten duren om een voorspelling te produceren en moet verzoeken verwerken die tot 100 MB aan gegevens bevatten. Welke implementatieoptie minimaliseert de operationele overhead en voldoet tegelijkertijd aan deze vereisten?

Amazon SageMaker Asynchronous Inference is de beste keuze omdat het is ontworpen voor modellen met lange verwerkingstijden (tot 15 minuten) en grote payloads (tot 1 GB), wat perfect past bij de gegeven vereisten van enkele minuten en 100 MB. Het minimaliseert de operationele overhead door automatisch de infrastructuur te schalen op basis van de workload. Amazon EC2-instanties met Auto Scaling en Application Load Balancer vereisen meer operationele overhead voor het beheer van de infrastructuur en schaling. Amazon SageMaker real-time endpoints zijn geoptimaliseerd voor lage latentie en kleinere payloads, niet voor de lange verwerkingstijden van dit model. Amazon ECS op EC2-instanties biedt flexibiliteit, maar vereist nog steeds meer handmatig beheer en configuratie dan SageMaker Asynchronous Inference voor dit specifieke scenario.