Une entreprise développe des modèles de machine learning sur AWS en tant que microservices indépendants. Chaque microservice récupère environ 1 Go de données de modèle depuis Amazon S3 au démarrage et les charge en mémoire. Les utilisateurs accèdent aux modèles ML via une API asynchrone et peuvent envoyer des requêtes unitaires ou par lots. L'entreprise sert des centaines d'utilisateurs. Les modèles d'utilisation sont irréguliers : certains modèles peuvent être inactifs pendant des jours ou des semaines tandis que d'autres reçoivent des lots de milliers de requêtes. Quelle solution répondra à ces exigences ?

La solution correcte utilise Amazon SQS et Amazon ECS. SQS permet de gérer les requêtes asynchrones et les modèles d'utilisation irréguliers en découplant la réception des requêtes de leur traitement. ECS est idéal pour les microservices qui chargent 1 Go de données en mémoire au démarrage, car les conteneurs offrent plus de flexibilité et de ressources que Lambda pour de telles charges. L'auto scaling d'ECS basé sur la taille de la file SQS assure une adaptation efficace aux pics de trafic et une réduction des coûts pendant les périodes d'inactivité. Les autres options sont moins adaptées. Les fonctions Lambda ne sont pas optimales pour charger 1 Go en mémoire au démarrage en raison des limites de mémoire et des temps de démarrage à froid. L'invocation directe par NLB/ALB ne gère pas aussi bien les modèles d'utilisation irréguliers et les requêtes asynchrones que SQS.