Uma empresa tem três subsidiárias usando diferentes mecanismos de armazenamento (Amazon Redshift, Teradata Vantage no AWS e Google BigQuery). Elas querem consolidar dados em um data lake S3 usando Apache Iceberg. O novo pipeline deve se conectar a cada fonte, executar transformações usando cada mecanismo de origem, unir os resultados e gravar no Iceberg com o mínimo esforço operacional. Qual abordagem atende a esses requisitos com a menor sobrecarga operacional?

A abordagem do Amazon Athena com consulta federada é a mais eficiente operacionalmente. O Athena pode se conectar diretamente a Redshift, Teradata (via JDBC) e BigQuery (via conectores federados), permitindo que você consulte e una dados de todas as fontes usando SQL padrão. Isso minimiza o desenvolvimento de código e a sobrecarga de gerenciamento de infraestrutura, pois o Athena é serverless. A capacidade de executar uma operação MERGE diretamente na tabela Iceberg do data lake simplifica ainda mais o processo de atualização. As outras opções envolvem maior complexidade. AWS Glue exigiria desenvolvimento de scripts e gerenciamento de jobs. Amazon EMR exige provisionamento e gerenciamento de clusters. Amazon AppFlow é mais para replicação de dados e não para transformações e junções complexas em tempo real.