Uma empresa está migrando bancos de dados SQL Server do EC2 para o Amazon RDS para SQL Server. Até que a migração seja concluída, a equipe de análise deve exportar diariamente grandes elementos de dados unidos no formato Apache Parquet para o Amazon S3. Qual solução é a MAIS operacionalmente eficiente?

A opção correta é a mais operacionalmente eficiente porque o AWS Glue é um serviço ETL sem servidor e totalmente gerenciado, ideal para transformar e carregar grandes volumes de dados. Ele pode se conectar diretamente aos bancos de dados SQL Server (via JDBC), ler a view criada, processar os dados e gravá-los no S3 no formato Parquet de forma otimizada e escalável, sem a necessidade de gerenciar infraestrutura. A opção de usar o SQL Server Agent para exportar CSV e depois Lambda para Parquet adiciona complexidade e etapas intermediárias desnecessárias. A opção de usar um crawler do Glue antes do job é redundante, pois o job pode ler a view diretamente. A opção de usar apenas uma função Lambda para consultar, transformar e carregar grandes volumes de dados pode ser ineficiente e cara, além de ter limites de tempo de execução e memória que podem ser problemáticos para grandes exportações diárias.