Uma empresa migrou recentemente para a Nuvem AWS e deseja uma solução serverless para processamento paralelo sob demanda e em larga escala de um conjunto de dados semiestruturados armazenado no Amazon S3 (logs, arquivos de mídia, transações, IoT). A solução deve processar milhares de itens em paralelo. Qual opção oferece a MAIOR eficiência operacional?

O estado Map Distribuído do AWS Step Functions é a opção mais eficiente operacionalmente para este cenário. Ele permite o processamento paralelo de milhares de itens diretamente do Amazon S3, orquestrando fluxos de trabalho que podem invocar funções Lambda ou outras ações para cada item. Isso oferece escalabilidade massiva e resiliência, com a capacidade de processar até um milhão de itens por execução de mapa, e o Step Functions gerencia a orquestração, o tratamento de erros e o rastreamento do estado, reduzindo a sobrecarga operacional. O estado Map Inline é limitado a 40 execuções paralelas e um tamanho de payload de 256 KB, sendo inadequado para "milhares de itens" em "larga escala". O AWS Glue é uma excelente ferramenta para ETL, mas pode ser excessivo e mais caro para processamento paralelo sob demanda de itens individuais, além de exigir mais gerenciamento de jobs. Usar várias funções Lambda diretamente exigiria que o desenvolvedor implementasse a lógica de orquestração, tratamento de erros e paralelismo, aumentando a complexidade e a sobrecarga operacional em comparação com o Step Functions.