某公司將半結構化的交易資料儲存在 S3 中。有些檔案很小，有些則有數十 TB。來源每天傳送完整的 JSON 快照，也會將變更的記錄傳送到資料湖。資料工程師必須執行變更資料擷取 (CDC) 以最符合成本效益的方式識別變更。哪種解決方案的成本效益最高？

正確答案是使用開源資料湖格式（例如 Apache Iceberg、Delta Lake 或 Apache Hudi）將資料來源與 S3 資料湖合併，以插入新資料並更新現有資料。這些格式專為 S3 上的資料湖設計，支援高效的 ACID 事務、Schema 演進和 CDC 操作，例如合併（upsert）。它們允許直接在 S3 資料上執行精細的變更，避免了將資料載入到關聯式資料庫再進行 CDC 的額外成本和複雜性。 其他選項的成本效益較低： 建立 AWS Lambda 函數來識別變更對於數十 TB 的資料來說效率不高且成本高昂，因為需要讀取和比較大量資料。 將資料擷取到 Amazon RDS for MySQL 或 Amazon Aurora MySQL 並使用 AWS DMS 會增加資料庫執行個體的營運成本，並且對於半結構化資料而言，將其載入關聯式資料庫再進行 CDC 並非最直接或最經濟的方法。