Un'azienda archivia dati transazionali semi-strutturati in S3. Alcuni file sono minuscoli, mentre altri sono di decine di terabyte. La sorgente invia uno snapshot JSON completo una volta al giorno e invia anche i record modificati nel data lake. Un ingegnere dei dati deve eseguire la Change Data Capture (CDC) per identificare le modifiche nel modo più conveniente. Qual è la soluzione PIÙ conveniente?

L'utilizzo di un formato open source per data lake (come Apache Iceberg, Apache Hudi o Delta Lake) è la soluzione più conveniente perché questi formati sono progettati per gestire in modo efficiente i dati semi-strutturati, supportano operazioni ACID (Atomicity, Consistency, Isolation, Durability) direttamente su S3 e offrono funzionalità native per la Change Data Capture (CDC) e le operazioni di upsert (inserimento/aggiornamento). Questo elimina la necessità di logica personalizzata complessa o di servizi aggiuntivi per la gestione delle modifiche. Le altre opzioni sono meno convenienti: Una funzione Lambda per identificare le modifiche sarebbe costosa e inefficiente per volumi di dati elevati (decine di terabyte) e richiederebbe una logica complessa per confrontare snapshot completi. L'inserimento dei dati in Amazon RDS o Aurora MySQL, anche con AWS DMS, introdurrebbe un database relazionale come livello intermedio, aumentando i costi, la complessità architetturale e potenzialmente creando colli di bottiglia per dati semi-strutturati e volumi elevati.