某公司有三个子公司，分别使用不同的数据仓库引擎（Amazon Redshift、AWS 上的 Teradata Vantage 和 Google BigQuery）。他们希望使用 Apache Iceberg 将数据整合到 S3 数据湖中。新的数据管道必须连接到每个源，使用每个源引擎运行转换，连接结果，并将数据写入 Iceberg，同时将操作工作量降至最低。哪种方法能够以最少的操作开销满足这些要求？

正确答案是使用 Amazon Athena 联合查询。Athena 联合查询允许您直接从 Redshift、Teradata 和 BigQuery 等不同数据源查询数据，无需移动数据，从而最大限度地减少操作开销。您可以使用标准 SQL 在 Athena 中连接这些数据，并将结果直接写入 S3 数据湖中的 Iceberg 表，包括执行 Merge 操作。 其他选项的缺点： AWS Glue 需要为每个源创建和管理单独的 ETL 作业，增加了操作复杂性。 Amazon EMR 涉及管理 EMR 集群和编写 PySpark 代码，这比使用 Athena 的 SQL 更复杂，操作开销更大。 Amazon AppFlow 主要用于 SaaS 应用程序集成，虽然可以将数据写入 S3，但它不直接支持在源引擎上运行转换或在 Iceberg 表上执行 Merge 操作，需要额外的步骤和工具。