ある企業が半構造化されたトランザクションデータをS3に保存しています。ファイルの中には非常に小さいものもあれば、数十テラバイトに及ぶものもあります。ソースは1日に1回、完全なJSONスナップショットを送信し、変更されたレコードもデータレイクに送信します。データエンジニアは、最も費用対効果の高い方法で変更を特定するために、変更データキャプチャ (CDC) を実行する必要があります。最も費用対効果の高いソリューションはどれですか？

オープンソースのデータレイク形式（Apache Iceberg、Delta Lake、Apache Hudiなど）は、S3上のデータに対してACIDトランザクション、スキーマ進化、およびCDC操作（マージ、挿入、更新）を直接可能にします。これにより、既存のデータレイクに効率的に変更を適用でき、データ処理の複雑さとコストを削減できます。 Lambda関数による変更特定は、データ量が増えるにつれて複雑性とコストが急増します。RDSやAurora Serverlessにデータを取り込み、DMSを使用する方法は、追加のデータベースインフラストラクチャの管理とコストが発生し、S3データレイクに直接変更を適用するよりも費用対効果が低くなります。