Una empresa ejecuta un trabajo ETL de AWS Glue todos los días a la misma hora para procesar datos XML almacenados en un bucket de Amazon S3. Se añaden nuevos datos al bucket de S3 diariamente. Un arquitecto de soluciones observa que AWS Glue está reprocesando todos los datos en cada ejecución. ¿Qué debe hacer el arquitecto de soluciones para evitar que AWS Glue reprocese los datos antiguos?

La opción correcta es editar el trabajo para usar marcadores de trabajo (job bookmarks). Los marcadores de trabajo de AWS Glue rastrean los datos procesados previamente, permitiendo que el trabajo procese solo los datos nuevos o modificados en ejecuciones posteriores. Esto evita el reprocesamiento de datos antiguos, optimizando el rendimiento y reduciendo costos. Editar el trabajo para eliminar los datos después de que se procesen no es una solución adecuada, ya que los datos originales podrían ser necesarios para auditorías o análisis futuros, y no resuelve el problema del reprocesamiento. Editar el trabajo configurando el campo NumberOfWorkers en 1 reduciría la concurrencia y el rendimiento, pero no evitaría el reprocesamiento de datos antiguos. Usar una transformación de machine learning (ML) FindMatches se utiliza para identificar registros duplicados o coincidentes en conjuntos de datos, lo cual no aborda el problema de procesar solo datos nuevos.