Ein Partner legt täglich eine Datendatei in einem Amazon S3-Bucket ab. Ein AWS Glue ETL-Job bereinigt und transformiert die Datei täglich und schreibt das Ergebnis in Daily.csv in einen anderen S3-Bucket. Manchmal ist die eingehende Datei leer oder enthält fehlende Pflichtfelder; in diesem Fall möchte das Unternehmen die CSV-Datei des Vortages beibehalten. Der Ingenieur muss sicherstellen, dass die Datei des Vortages nur überschrieben wird, wenn die neue tägliche Datei vollständig und gültig ist. Welche Lösung erreicht dies mit dem geringsten Aufwand?

Die Aktivierung von AWS Glue Data Quality (DQ) innerhalb des ETL-Jobs mit DQDL-Regeln ist die effizienteste Lösung. DQDL ermöglicht die Definition von Regeln zur Überprüfung auf leere Dateien und fehlende Pflichtfelder. Wenn die Daten die Regeln nicht erfüllen, kann der Job so konfiguriert werden, dass er fehlschlägt oder die Ausgabe nicht überschreibt, wodurch die vorherige gültige Datei erhalten bleibt. Eine Lambda-Funktion wäre ein zusätzlicher Service und mehr Verwaltungsaufwand. Das Imputieren fehlender Werte im Glue-Job würde die Daten ändern, anstatt die Datei bei ungültigen Daten beizubehalten. Eine Athena-Abfrage ist primär für die Analyse und nicht für die Datenvalidierung und das Überschreiben von Dateien gedacht.