Ein Unternehmen entwickelt Machine-Learning-Modelle auf AWS als unabhängige Microservices. Jeder Microservice ruft beim Start etwa 1 GB Modelldaten von Amazon S3 ab und lädt sie in den Arbeitsspeicher. Benutzer greifen über eine asynchrone API auf die ML-Modelle zu und können Einzel- oder Batch-Anfragen senden. Das Unternehmen bedient Hunderte von Benutzern. Die Nutzungsmuster sind unregelmäßig: Einige Modelle können tagelang oder wochenlang im Leerlauf sein, während andere Batches von Tausenden von Anfragen erhalten. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Lösung verwendet Amazon SQS und Amazon ECS. SQS ist ideal für asynchrone Anfragen und unregelmäßige Nutzungsmuster, da es Anfragen puffert und die Microservices entkoppelt. ECS-Dienste sind gut geeignet für ML-Modelle, die 1 GB Daten in den Speicher laden müssen, da sie persistente Container-Umgebungen bieten, im Gegensatz zu Lambda-Funktionen, die bei jedem Aufruf neu initialisiert werden könnten, was zu Latenzproblemen beim Laden der 1 GB Daten führen würde. Auto Scaling basierend auf der SQS-Warteschlangengröße stellt sicher, dass die ECS-Dienste effizient skaliert werden, um die Last zu bewältigen, ohne dass bei Inaktivität unnötige Kosten entstehen. Die anderen Optionen sind weniger geeignet: NLB mit Lambda: Lambda ist für das Laden von 1 GB Daten bei jedem Aufruf ineffizient und teuer. ALB mit ECS: Dies ist eine synchrone Lösung, die bei unregelmäßigen Lastspitzen und asynchronen Anforderungen nicht optimal ist. SQS mit Lambda: Obwohl SQS für Asynchronität gut ist, hat Lambda die gleichen Nachteile beim Laden großer Modelle wie oben beschrieben.