Uma empresa de serviços financeiros está construindo um data lake serverless no Amazon S3 que deve: permitir consultar dados antigos e novos do S3 com Amazon Athena e Redshift Spectrum, suportar pipelines ETL orientados a eventos e fornecer fácil descoberta de metadados. Qual solução atende a esses requisitos?

A solução correta utiliza o AWS Glue para catalogar dados no S3, o que é essencial para o Amazon Athena e Redshift Spectrum consultarem dados novos e antigos. O AWS Glue Data Catalog oferece descoberta de metadados fácil e centralizada. Acionar jobs ETL do AWS Glue com AWS Lambda permite pipelines orientados a eventos, atendendo ao requisito de processamento de dados em tempo real ou quase real. As opções incorretas falham em um ou mais requisitos: Usar um metastore Apache Hive externo (opções 2 e 4) adiciona complexidade e não se integra nativamente com o ecossistema AWS para descoberta de metadados, além de não ser serverless. Acionar jobs do AWS Batch (opções 2 e 3) é uma alternativa para processamento, mas os jobs ETL do AWS Glue são mais adequados para transformações de dados em data lakes e se integram melhor com o Data Catalog. Acionar via alarmes do Amazon CloudWatch (opções 3 e 4) é uma forma de agendamento, mas não oferece a flexibilidade e reatividade de um pipeline orientado a eventos como o acionamento por Lambda.