Ein Unternehmen hat drei Tochtergesellschaften, die verschiedene Data-Warehousing-Engines verwenden (Amazon Redshift, Teradata Vantage on AWS und Google BigQuery). Sie möchten Daten mithilfe von Apache Iceberg in einem S3 Data Lake konsolidieren. Die neue Pipeline muss sich mit jeder Quelle verbinden, Transformationen mit jeder Quell-Engine ausführen, die Ergebnisse zusammenführen und mit minimalem Betriebsaufwand in Iceberg schreiben. Welcher Ansatz erfüllt diese Anforderungen mit dem geringsten Betriebsaufwand?

Die Verwendung von Amazon Athena Federated Query-Konnektoren ist die effizienteste Lösung, da sie es ermöglicht, direkt von allen drei unterschiedlichen Datenquellen (Redshift, Teradata, BigQuery) über eine einzige SQL-Abfrage in Athena zu lesen. Athena kann diese Daten dann verbinden und direkt in eine Apache Iceberg-Tabelle in S3 schreiben, was den Betriebsaufwand minimiert, da keine separaten ETL-Jobs oder komplexe Code-Entwicklung erforderlich sind. Die anderen Optionen erfordern entweder mehrstufige Prozesse (z.B. Daten zuerst nach S3 verschieben und dann verarbeiten), komplexere Entwicklung mit PySpark in EMR oder bieten keine direkte Möglichkeit, alle Quellen zu verbinden und einen Merge-Vorgang in Iceberg mit minimalem Aufwand durchzuführen. AWS Glue wäre eine Option, erfordert aber mehr Konfiguration und Entwicklung von ETL-Jobs im Vergleich zur direkten SQL-Abfrage in Athena.