Klantgegevens worden dagelijks opgeslagen in gecomprimeerde, op datum gepartitioneerde bestanden in S3. Analisten downloaden en valideren maandelijks de resultaten en uploaden deze naar QuickSight. De engineer moet automatisch de datakwaliteit controleren voordat deze naar QuickSight wordt verzonden, met de MINSTE operationele overhead. Welke oplossing past het beste?

De correcte optie is de beste oplossing omdat AWS Glue Data Quality (DQ)-regels een ingebouwde, beheerde service bieden voor het controleren van datakwaliteit met minimale operationele overhead. Het uitvoeren van een AWS Glue crawler zorgt ervoor dat de Data Catalog up-to-date is met de nieuwste gepartitioneerde bestanden, waarna de DQ-regels direct op deze metadata en onderliggende gegevens kunnen worden toegepast. Dit automatiseert de validatie voordat de gegevens naar QuickSight gaan. De optie met een AWS Glue trigger en een PySpark DataFrame brengt meer operationele overhead met zich mee vanwege het schrijven en onderhouden van aangepaste PySpark-code. De optie met AWS Lambda-functies is minder geschikt omdat het maandelijks controleren van grote hoeveelheden historische gegevens in S3 niet efficiënt is voor Lambda, dat beter is voor event-driven, kortlopende taken. Bovendien zou het configureren van S3 om Lambda aan te roepen bij toevoeging van objecten niet passen bij een maandelijkse validatie van bestaande gegevens. De optie met Amazon SQS en CloudWatch Insights is ongeschikt omdat SQS bedoeld is voor berichtwachtrijen en CloudWatch Insights voor loganalyse, niet voor het direct evalueren van de datakwaliteit van grote datasets in S3.