Un socio carga un archivo de datos en un bucket de Amazon S3 todos los días. Un trabajo de AWS Glue ETL limpia y transforma el archivo diariamente y escribe el resultado en Daily.csv en otro bucket de S3. A veces, el archivo entrante está vacío o le faltan campos obligatorios; cuando eso sucede, la empresa quiere conservar el CSV del día anterior. El ingeniero debe asegurarse de que el archivo del día anterior se sobrescriba solo cuando el nuevo archivo diario esté completo y sea válido. ¿Qué solución logra esto con el menor esfuerzo?

La opción correcta es habilitar AWS Glue Data Quality (DQ) dentro del trabajo ETL y crear reglas DQDL. AWS Glue Data Quality permite definir reglas para validar datos, como verificar archivos vacíos o campos obligatorios faltantes, y decidir si se procede con la sobrescritura. Esto asegura que el archivo del día anterior solo se reemplace si el nuevo archivo cumple con los estándares de calidad, logrando el objetivo con el menor esfuerzo al integrar la validación directamente en el flujo ETL existente. Las otras opciones son menos eficientes: Una función Lambda para validar y completar campos es más compleja y requiere lógica adicional para la imputación. Modificar el código Glue ETL para imputar campos es una solución parcial, ya que no maneja archivos completamente vacíos y no es tan declarativa como DQDL. Ejecutar una consulta Athena para limpiar el CSV es ineficiente, ya que implica leer los datos dos veces y no es parte del proceso ETL de Glue.