Een partner plaatst dagelijks een databestand in een Amazon S3-bucket. Een AWS Glue ETL-taak reinigt en transformeert het bestand dagelijks en schrijft het resultaat naar Daily.csv in een andere S3-bucket. Soms is het inkomende bestand leeg of ontbreken verplichte velden; wanneer dat gebeurt, wil het bedrijf de CSV van de vorige dag behouden. De engineer moet ervoor zorgen dat het bestand van de vorige dag alleen wordt overschreven wanneer het nieuwe dagelijkse bestand compleet en geldig is. Welke oplossing bereikt dit met de minste inspanning?

De correcte optie is het inschakelen van AWS Glue Data Quality. Dit is de meest efficiënte oplossing omdat het direct integreert met de bestaande Glue ETL-taak. Met Data Quality Definition Language (DQDL) kunt u regels definiëren om de kwaliteit van de inkomende gegevens te valideren. De ETL-taak kan dan worden geconfigureerd om de uitvoer alleen naar S3 te schrijven als de gegevenskwaliteitscontroles slagen. Als de controles mislukken (bijvoorbeeld bij een leeg bestand of ontbrekende verplichte velden), wordt het bestand van de vorige dag niet overschreven, wat voldoet aan de vereiste. Het triggeren van een Lambda-functie voegt extra complexiteit toe en is minder geïntegreerd. Het wijzigen van de ETL-taakcode om ontbrekende velden aan te vullen, lost het probleem van lege bestanden niet op en kan leiden tot onjuiste gegevens. Een Athena SQL-query is geen geschikte oplossing voor het valideren en conditioneel overschrijven van bestanden; het is primair een queryservice.