Un'azienda sta sviluppando modelli di machine learning su AWS come microservizi indipendenti. Ogni microservizio recupera circa 1 GB di dati del modello da Amazon S3 all'avvio e li carica in memoria. Gli utenti accedono ai modelli ML tramite un'API asincrona e possono inviare richieste singole o batch. L'azienda serve centinaia di utenti. I modelli di utilizzo sono irregolari: alcuni modelli possono rimanere inattivi per giorni o settimane mentre altri ricevono batch di migliaia di richieste. Quale soluzione soddisferà questi requisiti?

La soluzione migliore è utilizzare Amazon SQS e Amazon ECS. I modelli ML devono caricare 1 GB di dati in memoria all'avvio, il che rende le funzioni Lambda meno adatte a causa dei loro limiti di memoria e tempo di esecuzione, oltre al problema del "cold start" per carichi irregolari. Inviare le richieste a una coda SQS desacopla il frontend dal backend, gestendo i picchi di traffico e garantendo l'elaborazione anche in caso di interruzioni temporanee. Amazon ECS, con la sua capacità di scalare sia la capacità del cluster che il numero di servizi in base alla dimensione della coda SQS, è ideale per gestire carichi di lavoro irregolari e per mantenere i modelli in memoria per un'elaborazione più efficiente. Le opzioni con NLB/ALB e Lambda non sono ottimali per i motivi sopra citati relativi ai limiti di Lambda e alla gestione dei cold start con carichi irregolari.