Un ingeniero de datos está construyendo un pipeline ETL automatizado de AWS Glue que ingiere archivos comprimidos desde un bucket de Amazon S3 y debe soportar el procesamiento incremental. ¿Qué característica de AWS Glue permite la ingesta incremental?

Los Job bookmarks de AWS Glue son la característica correcta para la ingesta incremental. Permiten a AWS Glue rastrear los datos que ya han sido procesados en ejecuciones anteriores de un trabajo ETL, procesando solo los datos nuevos o modificados en las ejecuciones subsiguientes. Esto es crucial para la eficiencia y para evitar el reprocesamiento de datos. Los Workflows se utilizan para orquestar múltiples trabajos y rastreadores en un orden específico, pero no gestionan la ingesta incremental de datos a nivel de trabajo. Los Triggers inician los trabajos de Glue en función de eventos o programaciones, pero no controlan qué datos se procesan. Los Classifiers se utilizan para inferir el esquema de los datos, lo cual es parte del descubrimiento de datos, no de la ingesta incremental.