某公司将半结构化事务数据存储在 S3 中。有些文件很小，而有些则有几十 TB。源系统每天发送一次完整的 JSON 快照，并将更改的记录发送到数据湖中。数据工程师必须执行变更数据捕获 (CDC) 以最经济高效地识别变更。哪种解决方案的成本效益最高？

正确的解决方案是使用开源数据湖格式（如 Apache Iceberg、Delta Lake 或 Apache Hudi）将数据源与 S3 数据湖合并。这些格式专为 S3 等对象存储设计，支持事务性操作、ACID 属性、Schema 演进以及高效的 CDC。它们允许直接在 S3 上执行合并、更新和删除操作，无需将数据移动到单独的数据库，从而显著降低成本和复杂性。 其他选项的缺点： 创建 Lambda 函数来识别变更效率低下且成本高昂，尤其是在处理 TB 级数据时，因为需要读取和比较大量数据。 将数据摄取到 Amazon RDS for MySQL 或 Amazon Aurora MySQL DB 实例中，然后使用 AWS DMS 是一种有效的 CDC 方法，但会引入额外的数据库存储和计算成本，并且增加了架构复杂性，不如直接在数据湖中处理成本效益高。