Ein Finanzdienstleistungsunternehmen erstellt einen Serverless Data Lake auf Amazon S3, der folgende Anforderungen erfüllen muss: Abfragen alter und neuer S3-Daten mit Amazon Athena und Redshift Spectrum ermöglichen, ereignisgesteuerte ETL-Pipelines unterstützen und eine einfache Metadaten-Erkennung bieten. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Lösung erfüllt alle Anforderungen. Ein AWS Glue Crawler katalogisiert S3-Daten automatisch und erstellt Tabellendefinitionen im AWS Glue Data Catalog. Dieser Data Catalog ist die Grundlage für Abfragen mit Amazon Athena und Redshift Spectrum. AWS Glue ETL-Jobs sind ideal für ereignisgesteuerte ETL-Pipelines, insbesondere wenn sie durch AWS Lambda ausgelöst werden, was eine serverlose und reaktionsschnelle Architektur ermöglicht. Der AWS Glue Data Catalog bietet zudem eine zentrale und einfache Metadaten-Erkennung. Die anderen Optionen sind weniger geeignet: Die Verwendung eines externen Apache Hive Metastore ist komplexer und nicht die bevorzugte serverlose Lösung in AWS, da der AWS Glue Data Catalog diese Funktionalität nativ bietet. AWS Batch-Jobs sind zwar für Batch-Verarbeitung geeignet, aber AWS Glue ETL-Jobs sind speziell für Datenintegration und Transformation konzipiert und besser in das Glue-Ökosystem integriert. Das Auslösen von Jobs über Amazon CloudWatch-Alarme ist für ereignisgesteuerte Pipelines weniger flexibel als die direkte Integration mit Lambda, das auf S3-Ereignisse reagieren kann.