Een data-engineer heeft een AWS Glue Data Catalog ingesteld voor objecten in S3 en heeft incrementele updates nodig. S3-gebeurtenismeldingen worden naar een SQS-wachtrij gestuurd. Welke combinatie van stappen zorgt voor incrementele catalogusupdates met de minste operationele overhead? (Kies twee.)

Een op S3-gebeurtenissen gebaseerde AWS Glue crawler die gebeurtenissen uit een SQS-wachtrij leest, is een efficiënte methode. De crawler wordt geactiveerd door de SQS-berichten, wat zorgt voor incrementele updates zonder voortdurend de hele S3-bucket te scannen. Dit minimaliseert de operationele overhead. Het gebruik van een AWS Lambda-functie om de Data Catalog direct bij te werken op basis van S3-gebeurtenissen die door de SQS-wachtrij zijn ontvangen, is ook een goede optie. Lambda kan de specifieke wijzigingen verwerken en de Data Catalog gericht bijwerken, wat zeer kosteneffectief en schaalbaar is. Het plannen van een crawler is minder efficiënt omdat het niet direct reageert op wijzigingen en mogelijk onnodige scans uitvoert. Handmatig triggeren is niet geautomatiseerd. AWS Step Functions voegt onnodige complexiteit toe voor deze specifieke taak.