Un ingegnere dei dati sta costruendo una pipeline ETL AWS Glue automatizzata che acquisisce file compressi da un bucket Amazon S3 e deve supportare l'elaborazione incrementale. Quale funzionalità di AWS Glue abilita l'ingestione incrementale?

I job bookmark di AWS Glue tracciano i dati elaborati in precedenza, consentendo ai job di elaborare solo i nuovi dati nelle esecuzioni successive. Questo è fondamentale per l'ingestione incrementale da Amazon S3, poiché garantisce che i file già elaborati non vengano rielaborati, ottimizzando le risorse e riducendo i tempi di esecuzione. I workflow orchestrano più job e crawler, ma non gestiscono direttamente l'elaborazione incrementale. I trigger avviano i job in base a eventi o pianificazioni, ma non tengono traccia dello stato dei dati. I classifier aiutano a inferire lo schema dei dati, ma non sono correlati all'elaborazione incrementale.