Een bedrijf uploadt dagelijks gegevens naar een S3-bucket en gebruikt de AWS Glue Data Catalog. Op sommige dagen wordt een dagelijks rapport uitgevoerd voordat alle gegevens zijn gearriveerd. De data engineer moet een bericht sturen dat onvolledige gegevens identificeert naar een bestaand Amazon SNS-onderwerp met minimale operationele overhead. Welke oplossing voldoet aan deze behoefte?

De correcte oplossing is het maken van datakwaliteitscontroles en het gebruik van AWS Glue-workflows. AWS Glue-workflows zijn ideaal voor het orkestreren van ETL-taken en kunnen eenvoudig integreren met de AWS Glue Data Catalog. Wanneer de workflow onvolledige gegevens detecteert, kan deze een EventBridge-gebeurtenis genereren. EventBridge kan vervolgens worden geconfigureerd om deze gebeurtenis door te sturen naar een bestaand Amazon SNS-onderwerp, wat voldoet aan de vereiste voor minimale operationele overhead. De andere opties zijn minder optimaal: Apache Airflow en Amazon EMR introduceren aanzienlijk meer operationele overhead dan AWS Glue-workflows, wat in strijd is met de eis. Lambda-functies met Step Functions kunnen werken, maar voor datakwaliteitscontroles die mogelijk grotere datasets verwerken, zijn AWS Glue-workflows vaak efficiënter en beter geïntegreerd met de Data Catalog.