Uma empresa está desenvolvendo modelos de machine learning na AWS como microsserviços independentes. Cada microsserviço busca cerca de 1 GB de dados de modelo do Amazon S3 na inicialização e os carrega na memória. Os usuários acessam os modelos de ML por meio de uma API assíncrona e podem enviar solicitações únicas ou em lote. A empresa atende centenas de usuários. Os padrões de uso são irregulares: alguns modelos podem ficar ociosos por dias ou semanas, enquanto outros recebem lotes de milhares de solicitações. Qual solução atenderá a esses requisitos?

A solução correta utiliza Amazon SQS para desacoplar a ingestão de solicitações e Amazon ECS para processamento. O SQS gerencia picos de tráfego, garantindo que nenhuma solicitação seja perdida e permitindo processamento assíncrono, essencial para padrões de uso irregulares e cargas de trabalho de ML que podem levar tempo. O ECS é ideal para modelos de ML que precisam carregar 1 GB de dados na memória na inicialização, pois oferece mais controle sobre o ambiente e recursos computacionais do que o Lambda, que tem limites de memória e tempo de execução mais restritivos para essa carga inicial. O auto scaling do ECS baseado no SQS otimiza custos, escalando apenas quando há trabalho na fila. As opções com AWS Lambda são menos adequadas porque o Lambda tem limites de tempo de execução e memória que podem ser problemáticos para carregar 1 GB de dados e para o processamento de ML. Além disso, a inicialização a frio do Lambda pode introduzir latência indesejada para modelos que ficam ociosos. As opções que usam Load Balancers diretamente para invocar serviços podem sobrecarregar os modelos durante picos de tráfego, pois não há buffer para as solicitações.