Une entreprise stocke des données transactionnelles semi-structurées dans S3. Certains fichiers sont minuscules tandis que d'autres atteignent des dizaines de téraoctets. La source envoie un instantané JSON complet une fois par jour et envoie également les enregistrements modifiés dans le lac de données. Un ingénieur de données doit effectuer une capture de données modifiées (CDC) pour identifier les changements de la manière la plus rentable. Quelle est la solution la PLUS rentable ?

L'utilisation d'un format de lac de données open source comme Apache Iceberg, Delta Lake ou Apache Hudi est la solution la plus rentable car elle permet de gérer directement les CDC sur S3. Ces formats prennent en charge les opérations de fusion (upsert) nécessaires pour insérer de nouvelles données et mettre à jour les enregistrements existants de manière efficace et sans avoir besoin de bases de données relationnelles coûteuses pour le traitement initial. Les autres options sont moins rentables : Une fonction AWS Lambda pour identifier les changements serait inefficace et coûteuse pour des fichiers de plusieurs téraoctets, car elle nécessiterait de charger et de comparer des volumes massifs de données. L'ingestion dans Amazon RDS for MySQL ou Amazon Aurora MySQL, même avec Aurora Serverless, introduirait des coûts de base de données relationnelle et de migration (AWS DMS) qui seraient supérieurs à une solution basée uniquement sur S3 et des formats de lac de données. De plus, ces bases de données ne sont pas optimisées pour des fichiers de plusieurs téraoctets.