Een data engineer moet de regels voor datakwaliteit bijwerken voor 1.000 AWS Glue Data Catalog-tabellen vanwege gewijzigde bedrijfsvereisten. Welke aanpak realiseert dit met de minste operationele overhead?

De meest efficiënte aanpak met de minste operationele overhead is het gebruik van een AWS Lambda-functie die API-aanroepen doet naar AWS Glue Data Quality. Dit komt omdat Lambda serverloos is, automatisch schaalt en alleen kosten maakt wanneer het wordt uitgevoerd, wat ideaal is voor het programmatisch bijwerken van regels over een groot aantal tabellen. De andere opties zijn minder optimaal: Een AWS Glue ETL-pipeline voor elke tabel (1.000 pipelines) zou een enorme operationele overhead creëren voor het beheer en de uitvoering van al die taken. Een Amazon EMR-cluster is overgedimensioneerd en kostbaar voor deze specifieke taak, die geen zware dataverwerking vereist, maar eerder configuratiewijzigingen. Het handmatig bewerken via de AWS Management Console is onpraktisch en foutgevoelig voor 1.000 tabellen.