Una empresa ejecuta múltiples trabajos de AWS Glue ETL que leen datos de S3 usando un DynamicFrame y cargan los datos transformados en Amazon RDS para MySQL una vez al día. Actualmente, los trabajos reprocesan todos los objetos en el bucket de S3, pero la empresa quiere que los trabajos operen solo con los datos incrementales diarios. ¿Qué solución requiere la MENOR cantidad de cambios de código?

La opción correcta es habilitar los marcadores de trabajo (job bookmarks) porque AWS Glue Job Bookmarks están diseñados específicamente para rastrear y procesar datos incrementales en S3. Al habilitarlos, AWS Glue registra el estado de los datos procesados en ejecuciones anteriores y solo procesa los datos nuevos o modificados en las ejecuciones posteriores, lo que minimiza los cambios de código y optimiza el rendimiento. Crear un trabajo ETL para registrar el estado en DynamoDB es una solución personalizada que requeriría un desarrollo y mantenimiento significativos. Habilitar las métricas de trabajo de CloudWatch ayuda a monitorear el rendimiento, pero no gestiona el procesamiento incremental de datos. Configurar los trabajos ETL para eliminar objetos de S3 después de cada ejecución no es una práctica recomendada, ya que podría resultar en pérdida de datos y no es el propósito de los marcadores de trabajo.