Um engenheiro de dados assinou um bucket S3 para um produto AWS Data Exchange que entrega indicadores econômicos. O engenheiro deve unir esses dados econômicos de entrada com uma tabela existente no Amazon Athena e concluir todas as transformações em 30 a 60 minutos. Qual solução econômica atende a esses requisitos?

A solução correta utiliza um evento S3 para acionar uma função Lambda, que por sua vez inicia um trabalho do AWS Glue. Isso é econômico e eficiente porque o AWS Glue é um serviço sem servidor e escalável, ideal para transformações de dados (ETL) e integração com o Amazon Athena. A função Lambda atua como um orquestrador leve, respondendo automaticamente à chegada de novos dados no bucket do AWS Data Exchange. O AWS Glue pode ler os dados do S3, uni-los com a tabela existente no Athena e gravar o resultado de volta no S3, tudo dentro do tempo limite de 30 a 60 minutos. A opção com Kinesis é desnecessariamente complexa e cara para dados que já estão no S3. A opção com SageMaker Data Wrangler via Lambda não é a ferramenta ideal para orquestração de ETL em larga escala e pode exceder o tempo limite da Lambda. A opção com Amazon Redshift é mais cara e complexa para este caso de uso, que pode ser resolvido com serviços sem servidor.