某公司有三個子公司，分別使用不同的倉儲引擎（Amazon Redshift、AWS 上的 Teradata Vantage 和 Google BigQuery）。他們希望使用 Apache Iceberg 將資料整合到 S3 資料湖中。新的資料管道必須連接到每個來源，使用每個來源引擎執行轉換，連接結果，並以最少的操作工作量寫入 Iceberg。哪種方法能以最少的操作開銷滿足這些要求？

正確答案是使用 Amazon Athena 聯合查詢連接器。Athena 聯合查詢允許您直接從 S3 資料湖、Redshift、Teradata 和 BigQuery 等多個資料來源查詢資料，無需移動資料。這簡化了資料管道，因為您可以使用標準 SQL 進行資料連接和 Iceberg 表格的合併操作，從而將操作開銷降到最低。 其他選項的缺點： AWS Glue 需要為每個來源建立和管理 ETL 作業，增加了操作複雜性。 Amazon EMR 涉及管理 EMR 叢集和編寫 PySpark 程式碼，操作開銷較高。 Amazon AppFlow 主要用於資料傳輸，雖然可以將資料寫入 S3，但後續仍需 Athena 或其他服務來執行連接和 Iceberg 合併操作，增加了步驟。