Amazon DEA-C01: Datenkatalogisierung und Metadatenmanagement — Lernleitfaden

By Laurynas Brazys · 2 August 2026 · #amazon #dea-c01 #certification #exam-prep #study-guide

Teil des Amazon Data Engineer Associate DEA-C01 — Lernleitfaden. Üben Sie mit verifizierten Antworten im Amazon-Prüfungscenter, oder absolvieren Sie zeitlich begrenzte Übungstests auf ExamRoll.io.

Integration von Athena und dem Glue-Katalog

Athena ist für Metadaten vom Glue Data Catalog abhängig. Häufige Integrationspunkte und operative Stellschrauben:

• Umgang mit Partitionen: Athena liest Partitionen aus dem Glue-Katalog. Wenn neue S3-Partitionen hinzugefügt werden, müssen Sie den Katalog aktualisieren. Optionen:
  • Führen Sie MSCK REPAIR TABLE db.table; von Athena aus oder verwenden Sie aws athena start-query-execution mit diesem SQL, um Partitionen zu aktualisieren, die am Speicherort der Tabelle gefunden wurden.
  • Verwenden Sie aws glue batch-create-partition, um Partitionen bei S3-PUT-Ereignissen programmatisch hinzuzufügen (empfohlen für ereignisgesteuerte Abläufe).
  • Verwenden Sie Partitions-Projektion, indem Sie Tabelleneigenschaften wie projection.enabled=true, projection.year.type=integer, projection.month.range=1 und projection.year.range=2018,2026 festlegen – dies vermeidet Glue-Lookups vollständig und ist für eine sehr hohe Anzahl an Partitionen unerlässlich.
• Abfrageleistung und Kostenabwägungen:
  • Die Partitions-Projektion eliminiert Glue-API-Aufrufe und reduziert die Latenz bei vielen kleinen Partitionen drastisch, erfordert aber eine deterministische Benennung der Partitionen.
  • MSCK REPAIR TABLE ist einfach für gelegentliche Ad-hoc-Neuzugänge, kann aber bei großen Datensätzen langsam sein.

Ergänzung durch Glue DataBrew:

• Verwenden Sie DataBrew für No-Code-Profiling und -Transformationen; verweisen Sie DataBrew auf Glue-Katalogtabellen oder S3-Pfade, führen Sie Profiling-Jobs aus, erstellen Sie Rezepte und veröffentlichen Sie die Ausgabe zurück in S3 oder als neue Glue-Tabellen.
• Verwenden Sie DataBrew für explorative Qualitätsprüfungen und um Transformationen für die spätere Produktivsetzung in Glue ETL zu generieren, wenn komplexe Spark-Logik erforderlich ist.

Entscheidungskriterien:

• Verwenden Sie Partitions-Projektion, wenn Partitionen zahlreich sind und einem vorhersagbaren Schema folgen (datumsbasiert / numerisch).
• Verwenden Sie programmatische Glue-Partitions-Updates für ereignisgesteuerte Nahezu-Echtzeit-Ingestion.
• Führen Sie MSCK REPAIR TABLE nur für gelegentliche Backfills oder wenn keine Automatisierung verfügbar ist aus.

Häufige Fallstricke und Entscheidungskriterien

• Athena-Abfragen schlagen fehl, weil Glue-Partitionen nach S3-Neuzugängen nicht aktualisiert werden: Vermeiden Sie es, sich ausschließlich auf Crawler zu verlassen; führen Sie entweder MSCK REPAIR TABLE für gelegentliche Updates aus, rufen Sie aws glue batch-create-partition bei S3-Ereignissen auf oder implementieren Sie Partitions-Projektion für große, vorhersagbare Partitionsmengen.
• Die Wahl des falschen Kompatibilitätsmodus der Schema Registry führt zu Fehlern bei den Consumern: Wählen Sie BACKWARD für additive Änderungen und Consumer-Stabilität, FORWARD, wenn Producer mit älteren Consumern kompatibel bleiben müssen, und FULL, wenn beide Richtungen sicher sein müssen; validieren Sie Änderungen in der CI anhand der Consumer-Schemata.
• Annahme, der Glue Data Catalog sei global: Der Katalog ist regional. Entwerfen Sie für den regionsübergreifenden Zugriff eine Replikation oder betreiben Sie Kataloge in den Zielregionen; gehen Sie nicht davon aus, dass Glue-Metadaten automatisch über Regionen hinweg verfügbar sind.
• Gewähren von IAM-S3-Zugriff, aber nicht von Lake Formation-Berechtigungen: Athena und Lake Formation erzwingen Berechtigungen auf Katalogebene; gewähren Sie immer Lake Formation-Berechtigungen (und LF-Tags, wo verwendet) zusätzlich zu allen IAM-Richtlinien.
• Übermäßige Partitionsgranularität: Die Verwendung von zu vielen winzigen Partitionen beeinträchtigt die Abfrageplanung und den Metadaten-Overhead; bevorzugen Sie gröbere Partitionen (täglich statt minütlich) oder verwenden Sie Partitions-Projektion.
• Vernachlässigung der DataBrew-Rollenberechtigungen: DataBrew-Jobs erfordern eine Servicerolle mit Glue- und S3-Berechtigungen; stellen Sie sicher, dass die Rolle über Glue:GetTable, S3-Lese-/Schreibzugriff und kms:Decrypt verfügt, wenn die Datensätze verschlüsselt sind.

Praktisches Problem: Anwendungsfallszenario

Acme Retail erhält stündliche Verkaufsdateien in S3 mit Datums-/Stunden-Partitionen, und Analysten fragen die Daten in Athena ab; nach dem Laden sehen Benutzer Abfragefehler und veraltete Ergebnisse, da die Partitionen im Glue Data Catalog nicht sichtbar sind.

1. Implementieren Sie eine S3-PUT-Ereignisbenachrichtigung, um eine Lambda-Funktion aufzurufen, die aws glue batch-create-partition aufruft, um die neue Partition sofort zu registrieren.
2. Planen Sie für ältere Daten oder Backfills eine Athena-Abfrage, die MSCK REPAIR TABLE db.sales_hourly; ausführt, oder führen Sie einen gezielten aws glue batch-create-partition für bekannte Bereiche aus.
3. Wenn Partitionen einer strikten Namenskonvention für Datum/Stunde folgen, aktivieren Sie die Partitions-Projektion für die Glue-Tabelle (setzen Sie projection.enabled=true und definieren Sie die Eigenschaften für Jahr/Monat/Tag/Stunde), um die Kosten für die Katalogaktualisierung zu eliminieren.
4. Fügen Sie der Tabelle LF-Tags für die Sensitivität hinzu und gewähren Sie Analysten Lake Formation-Berechtigungen, damit Athena-Abfragen zulässig und gesteuert sind.
5. Verwenden Sie Glue DataBrew, um neue stündliche Dateien in einer Staging-Umgebung zu profilen und Schema-Drift zu erkennen; wenn Schemaänderungen gefunden werden, registrieren Sie neue Schema-Versionen in der Glue Schema Registry und validieren Sie die Kompatibilität vor dem Produktions-Rollout.

Begründung: Die automatische Partitionsregistrierung oder -projektion beseitigt die Metadatenverzögerung, die zum Fehlschlagen von Athena-Abfragen führt; die Kopplung mit Lake Formation Governance stellt einen sicheren Zugriff sicher, und das DataBrew-gestützte Profiling erkennt Schema-Drift frühzeitig, während die Glue Schema Registry Streaming- und Batch-Consumer vor inkompatiblen Schemaänderungen schützt.

← Datenspeicherung und Lake-Architektur · Alle Domänen · Datentransformation und -verarbeitung →

Diese Fragen üben → · Zeitlich begrenzte Übung auf ExamRoll.io →

Amazon durchsuchen →