Ein Unternehmen lädt täglich Daten in einen S3-Bucket hoch und verwendet den AWS Glue Data Catalog. An manchen Tagen wird ein Tagesbericht ausgeführt, bevor alle Daten eintreffen. Der Dateningenieur muss eine Nachricht, die unvollständige Daten identifiziert, an ein bestehendes Amazon SNS-Thema senden, und das mit minimalem Betriebsaufwand. Welche Lösung erfüllt diese Anforderung?

Die korrekte Lösung nutzt AWS Glue-Workflows für Datenqualitätsprüfungen, da Glue bereits für den Data Catalog verwendet wird und somit eine nahtlose Integration bietet. Wenn ein Workflow unvollständige Daten erkennt, kann er ein EventBridge-Ereignis auslösen. EventBridge ist ideal, um Ereignisse zu filtern und an ein bestehendes SNS-Thema weiterzuleiten, was den operativen Aufwand minimiert. Die Option mit Apache Airflow erfordert die Bereitstellung und Verwaltung eines Airflow-Clusters, was einen höheren Betriebsaufwand bedeutet. Die Amazon EMR-Lösung ist für diesen Anwendungsfall überdimensioniert und teurer. Lambda-Funktionen mit Step Functions sind zwar eine Option, aber die Integration der Qualitätsprüfungen direkt in AWS Glue-Workflows ist effizienter, da Glue bereits im Datenverarbeitungspfad ist und die Datenqualitätsprüfung direkt dort erfolgen kann, wo die Daten verarbeitet werden.