Um novo data lake no Amazon S3 será consultado com o Amazon Athena. Um banco de dados Oracle on-premises com 70 tabelas (todas com chaves primárias) é a fonte; os dados mudam ocasionalmente. A empresa deseja ingerir as tabelas diariamente no lake com o mínimo esforço. Qual solução eles devem usar?

A opção correta é usar o AWS DMS porque ele é projetado para migração e replicação de bancos de dados, suportando a ingestão de dados de um Oracle on-premises para o Amazon S3 com esforço mínimo. O DMS pode lidar com alterações incrementais (CDC) e gravar diretamente no formato Parquet, que é otimizado para consultas Athena. A criação de um job Apache Sqoop no Amazon EMR é uma solução válida, mas requer mais gerenciamento e configuração de cluster EMR, o que não atende ao requisito de "mínimo esforço". Um job AWS Glue bookmark é adequado para ingestão incremental, mas o AWS Glue é mais focado em ETL e transformação de dados, enquanto o DMS é especializado em replicação de banco de dados, sendo mais direto para este caso de uso. A migração para o Amazon RDS e o uso de funções Lambda para gravar dados no S3 adiciona complexidade desnecessária, incluindo a manutenção de um banco de dados RDS e a lógica de gatilhos e Lambda, o que não é "mínimo esforço".