Een bedrijf heeft drie dochterondernemingen die verschillende warehousing engines gebruiken (Amazon Redshift, Teradata Vantage on AWS en Google BigQuery). Ze willen gegevens consolideren in een S3 data lake met behulp van Apache Iceberg. De nieuwe pipeline moet verbinding maken met elke bron, transformaties uitvoeren met elke bron-engine, de resultaten samenvoegen en naar Iceberg schrijven met minimale operationele inspanning. Welke aanpak voldoet aan deze vereisten met de minste operationele overhead?

De correcte optie is het gebruik van Amazon Athena met federated query connectors. Athena biedt ingebouwde connectiviteit met Redshift, Teradata (via JDBC) en BigQuery, waardoor het mogelijk is om direct vanuit Athena SQL-queries uit te voeren over al deze bronnen. Dit stroomlijnt het proces van het lezen, transformeren en samenvoegen van gegevens met minimale operationele inspanning, aangezien Athena serverless is en de complexiteit van het beheren van infrastructuur wegneemt. De mogelijkheid om direct een MERGE-bewerking uit te voeren op de Iceberg-tabel via Athena SQL maakt het een efficiënte oplossing. De andere opties vereisen meer operationele overhead: AWS Glue is een goede optie voor ETL, maar het bouwen van afzonderlijke Glue-jobs voor elke bron en het beheren van de transformaties kan meer ontwikkelings- en operationele inspanning vergen dan een enkele Athena SQL-query. Amazon EMR vereist het beheer van EMR-clusters en het schrijven van PySpark-code, wat aanzienlijk meer operationele overhead en ontwikkelingscomplexiteit met zich meebrengt dan Athena. Amazon AppFlow is ontworpen voor SaaS-integraties en is minder geschikt voor complexe data lake-transformaties en het uitvoeren van MERGE-bewerkingen op Iceberg-tabellen. Het zou ook een extra stap vereisen om de gegevens in S3 te krijgen voordat Athena ze kan verwerken.