Una empresa carga datos a un bucket de S3 diariamente y utiliza el AWS Glue Data Catalog. Algunos días, un informe diario se ejecuta antes de que lleguen todos los datos. El ingeniero de datos debe enviar un mensaje que identifique cualquier dato incompleto a un tema de Amazon SNS existente con una sobrecarga operativa mínima. ¿Qué solución satisface esta necesidad?

La opción correcta aprovecha las capacidades existentes de AWS Glue. Los flujos de trabajo de AWS Glue son ideales para orquestar y ejecutar comprobaciones de calidad de datos directamente donde residen los metadatos (Data Catalog) y los datos (S3). Si se detectan datos incompletos, el flujo de trabajo puede generar un evento personalizado de Amazon EventBridge. EventBridge puede entonces filtrar este evento y reenviarlo fácilmente al tema de Amazon SNS existente, lo que minimiza la sobrecarga operativa al integrar servicios nativos de AWS sin necesidad de configurar y mantener infraestructura adicional. Las otras opciones implican la introducción de servicios más complejos o costosos para la orquestación (Airflow, EMR, Step Functions con Lambda para lógica de calidad), lo que aumenta la sobrecarga operativa y de mantenimiento en comparación con la solución basada en AWS Glue y EventBridge para este caso de uso específico.