A company is developing machine learning models on AWS as independent microservices. Each microservice fetches about 1 GB of model data from Amazon S3 at startup and loads it into memory. Users access the ML models via an asynchronous API and can send single or batch requests. The company serves hundreds of users. Usage patterns are irregular: some models may be idle for days or weeks while others receive batches of thousands of requests. Which solution will meet these requirements?

Die korrekte Lösung verwendet Amazon SQS und Amazon ECS. SQS ist ideal für asynchrone Anfragen und unregelmäßige Nutzungsmuster, da es Anfragen puffert und die Microservices entkoppelt. ECS-Dienste sind gut geeignet für ML-Modelle, die 1 GB Daten in den Speicher laden müssen, da sie persistente Container-Umgebungen bieten, im Gegensatz zu Lambda-Funktionen, die bei jedem Aufruf neu initialisiert werden könnten, was zu Latenzproblemen beim Laden der 1 GB Daten führen würde. Auto Scaling basierend auf der SQS-Warteschlangengröße stellt sicher, dass die ECS-Dienste effizient skaliert werden, um die Last zu bewältigen, ohne dass bei Inaktivität unnötige Kosten entstehen. Die anderen Optionen sind weniger geeignet: NLB mit Lambda: Lambda ist für das Laden von 1 GB Daten bei jedem Aufruf ineffizient und teuer. ALB mit ECS: Dies ist eine synchrone Lösung, die bei unregelmäßigen Lastspitzen und asynchronen Anforderungen nicht optimal ist. SQS mit Lambda: Obwohl SQS für Asynchronität gut ist, hat Lambda die gleichen Nachteile beim Laden großer Modelle wie oben beschrieben.