Google PDE: Daten-Ingestion, Integration und Migration — Lernleitfaden

By Laurynas Brazys · 21 August 2026 · #google #PDE #certification #exam-prep #study-guide

Teil des Google Professional Data Engineer — Lernleitfaden. Üben Sie mit verifizierten Antworten im Google-Prüfungscenter, oder absolvieren Sie zeitlich begrenzte Übungstests auf ExamRoll.io.

Überblick

Datenerfassung, -integration und -migration in Google Cloud umfassen wiederholbare Muster, verwaltete Dienste und betriebliche Kontrollen, die vielfältige Quellsysteme in zuverlässige, abfragbare Datensätze umwandeln. Effektive Designs trennen den Transport von der Transformation, entkoppeln Produzenten und Konsumenten und bevorzugen idempotente, mit Checkpoints versehene Pipelines mit klarer Nachverfolgbarkeit (Lineage) und Verifizierung. Dieser Abschnitt behandelt Erfassungsmuster, Google Cloud-Dienste für Datenbewegung und CDC, Schema- und Datenqualitätskontrollen, Konnektivität und hybride Integration sowie Umstellungsstrategien, wobei Design-Abwägungen und Fehlermodi durchgehend hervorgehoben werden.

Erfassungsmuster und Workloads

• Batch-Erfassung: Periodische Abrufe (Pulls) oder Dateiablagen (File Drops) in definierten Intervallen. Gut für vorhersagbare Kosten und das Nachladen von Daten (Backfills). Fehlermodus: Große, seltene Batches verursachen Ressourcenspitzen, lange Aufholfenster und verpasste SLAs. Gegenmaßnahme: Batch-Fenster richtig dimensionieren, nach Zeit oder Schlüssel partitionieren (Sharding) und Parallelisierung nutzen.
• Massenladen (Bulk Load): Einmalige oder umfangreiche Ladevorgänge (z. B. initiale historische Befüllung). Bevorzugen Sie spaltenorientierte oder selbstbeschreibende Formate (Parquet, Avro) und laden Sie direkt in einen analytischen Speicher (BigQuery) oder als Staging in Cloud Storage. Abwägung: Die Abfrage externer Tabellen vermeidet Ladeschritte, verlagert aber die Kosten auf das Scannen zur Abfragezeit.
• Inkrementelles Laden: Periodische Delta-Ladevorgänge über Zeitstempel oder High-Water-Marks. Erfordert robuste Deduplizierung und idempotente Upserts. Fehlermodus: Zeitversatz (Clock Skew) oder verspätet eintreffende Datensätze. Verwenden Sie serverseitige Commit-Zeitstempel und Watermarking.
• Change Data Capture (CDC): Kontinuierliche Replikation von Inserts, Updates und Deletes aus operativen Datenbanken. Am besten für Nahezu-Echtzeit-Analysen und Migrationen mit geringer Ausfallzeit. Abwägungen:
  • Reihenfolge: Die meisten CDC-Tools erhalten die Reihenfolge innerhalb von Transaktionen und typischerweise innerhalb eines Shards bei, garantieren aber keine globale, Shard-übergreifende Reihenfolge. Verwenden Sie Commit-Zeitstempel von Transaktionen und Primärschlüssel, um die Sequenz zu rekonstruieren.
  • Zustellungssemantik: „Mindestens einmal“ (At-least-once) ist typisch; erstellen Sie idempotente Senken (Sinks) oder deduplizieren Sie mittels eindeutiger Änderungs-IDs.
  • Snapshot + CDC: Beginnen Sie mit einem konsistenten Snapshot und wenden Sie dann Änderungen aus einer präzisen Log-Sequenz an, um Parität ohne Ausfallzeit zu erreichen.

Relationale, SaaS-, On-Premises- und Dateiquellen:

• Relationale Quellen: Verwenden Sie natives CDC oder Zeitstempelspalten. Für Massenexporte nach Avro/Parquet exportieren und in Cloud Storage bereitstellen (Staging).
• SaaS-Quellen: Bevorzugen Sie Anbieter-APIs mit inkrementellen Tokens; integrieren Sie über verwaltete Konnektoren (z. B. in Data Fusion). Drosseln Sie wegen Ratenbegrenzungen (Rate Limits) und handhaben Sie Schema-Drift.
• On-Premises-Quellen: Wählen Sie zwischen agentenbasierter Übertragung, VPN/Interconnect + Private Google Access oder Offline-Seeding mit Transfer Appliance.
• Dateierfassung: Bündeln Sie viele kleine Dateien (z. B. mit tar), um den RPC-Overhead zu reduzieren. Verwenden Sie gsutil -m oder parallelisierte Clients; setzen Sie Dateien für Analysezwecke zu größeren, spaltenorientierten Dateien zusammen oder transformieren Sie sie.

Google Cloud-Dienste für Erfassung, Integration und Migration

• Datastream (serverloses CDC): Erfasst Änderungen aus MySQL, PostgreSQL und Oracle in Cloud Storage, BigQuery (über Vorlagen) oder Pub/Sub. Es erhält Transaktionsgrenzen und Commit-Metadaten; eine globale Reihenfolge wird nicht garantiert. Wenden Sie nachgelagert eine Sortierung nach Schlüssel und Commit-Zeitstempel an. Rechnen Sie mit „Mindestens-einmal“-Zustellung (At-least-once); entwerfen Sie idempotente Konsumenten (z. B. BigQuery MERGE mit Änderungs-IDs).
• Database Migration Service (DMS): Für Datenbankmigrationen mit minimaler Ausfallzeit unter Verwendung nativer Replikation. DMS erstellt einen konsistenten Snapshot und repliziert dann kontinuierlich Änderungen mithilfe von GTID/LSN/SCN. Es ist zweckgebunden für Lift-and-Shift, nicht für beliebige Transformationen. Für Analysezwecke erweitern Sie DMS bei Bedarf mit Dataflow oder Data Fusion.
• Cloud Data Fusion: Ein verwalteter Integrationsdienst mit Konnektoren zu relationalen, SaaS-, Datei- und Messaging-Systemen. Erstellen Sie Pipelines mit Transformationsstufen (Joins, Aggregationen, Formatkonvertierungen, benutzerdefinierte Wrangler-Rezepte) und erfassen Sie die Datenherkunft (Lineage) über Quellen und Felder hinweg. Im Betrieb plant es, führt Wiederholungsversuche durch und gibt Metriken aus. Verwenden Sie Data Fusion für No-Code/Low-Code ELT/ETL und um die Konnektorverwaltung zu zentralisieren.
• Storage Transfer Service (STS): Verwaltete, geplante Übertragungen von AWS S3, Azure Blob, On-Premises (mithilfe von Agents), SFTP und URL-Listen zu Cloud Storage. Unterstützt Manifeste, inkrementelle Synchronisierung, Bandbreitenkontrolle und durch Prüfsummen gesicherte Integrität. Fehlermodi umfassen Ineffizienz bei kleinen Dateien und API-Drosselung; mildern Sie dies durch Bündelung (Batching) und anpassbare Parallelität (Concurrency).
• Transfer Appliance: Offline-fähige, verschlüsselte Appliance für das initiale Seeding im Multi-Terabyte- bis Petabyte-Bereich, wenn die Netzwerkbandbreite begrenzt ist oder die Daten für einen längeren Transit zu sensibel sind. Nachweiskette (Chain-of-Custody) und Verschlüsselung sind integriert. Nach dem Seeding folgen STS oder CDC für die Deltas.
• Cloud Pub/Sub + Dataflow: Pub/Sub entkoppelt Produzenten und Konsumenten für Streaming- oder Micro-Batch-Muster. Dataflow bietet automatisch skalierte, zustandsbehaftete Stream/Batch-Verarbeitung mit Checkpointing und Watermarking. Verwenden Sie die BigQuery Storage Write API für Streaming mit geringer Latenz und „Genau-einmal“-Garantien (Exactly-once) pro Standard-Stream; verlassen Sie sich andernfalls auf die Deduplizierungssemantik der insertId.

Bei Hadoop-zu-Dataproc-Migrationen minimieren Sie die Nutzung von Persistent Disk, indem Sie Daten mit dem GCS-Connector in Cloud Storage speichern und ephemere oder automatisch skalierende Cluster verwenden. Dies vermeidet hohe Kosten für Blockspeicher, während HDFS-kompatible Semantiken für die Verarbeitung erhalten bleiben.

Schema, Validierung und Datenqualität an der Schnittstelle

• Schema-Mapping und Typkonvertierung: Frühzeitig auf stark typisierte Schemata standardisieren. Avro oder Parquet erhalten das Schema und ermöglichen eine saubere Weiterentwicklung. In BigQuery partitionierte und geclusterte Tabellen bevorzugen, um die Scan-Kosten zu reduzieren. Beispiel: Erstellen einer partitionierten Tabelle für die tägliche Analyse

undefined

• Umgang mit fehlerhaften Datensätzen: Abgelehnte Datensätze an eine Dead-Letter-Queue (Pub/Sub) oder einen Quarantäne-Bucket in Cloud Storage weiterleiten. Side Outputs in Dataflow oder Error Collectors in Data Fusion verwenden. Parsing-Fehler mit Beispiel-Payloads und Schema-Versionen für die Triage protokollieren.
• Validierung: Prüfungen an der Schnittstelle vor der Persistierung durchführen:
  • Strukturell: Schemakonformität, Pflichtfelder, Datentypen, Enum-Wertebereiche.
  • Referenziell: Existenz von Fremdschlüsseln über gecachte Dimensions-Lookups.
  • Plausibilität: Wertebereiche für Zeitstempel, Geofences, nicht-negative Beträge.
  • Eindeutigkeit: Kollisionen von Primärschlüsseln oder zusammengesetzten Schlüsseln.
• Idempotentes Laden: Deterministische Schlüssel und Upsert-Operationen verwenden. In BigQuery MERGE mit einem natürlichen oder einem Surrogate-Änderungsschlüssel implementieren. Beispiel:

undefined

• Watermarking und verspätete Daten (Lateness): In Streaming-Pipelines Event-Time-Watermarks und die zulässige Verspätung (Allowed Lateness) konfigurieren, um Vollständigkeit und Latenz auszubalancieren. Verspätete Daten werden an Korrekturpfade weitergeleitet oder lösen Backfills aus.
• Abgleich (Reconciliation): Zeilenanzahl und Prüfsummen pro Partition/Fenster von der Quelle bis zum Ziel (Sink) verfolgen. CDC-Log-Positionen (LSN/SCN) und Commit-Zeitstempel erfassen; in einer Kontrolltabelle speichern, um die Kontinuität nachzuweisen und Lücken zu identifizieren.

Konnektivität, Zuverlässigkeit und Betrieb

• Netzwerkkonnektivität und privater Zugriff:

  • Hybrid: Cloud VPN oder Dedicated/Partner Interconnect für private Konnektivität verwenden. Private Google Access oder Private Service Connect für den privaten Zugriff auf Google-APIs wie Cloud Storage aktivieren.
  • Sicherheit: Servicekonten für Workload Identity, IAM mit geringsten Rechten (Least Privilege), VPC Service Controls zur Verhinderung von Daten-Exfiltration und CMEK, wo erforderlich, verwenden.
  • Durchsatz: Parallelität auf Client-Seite skalieren, aber letztendlich bestimmt die Bandbreite den Durchsatz. Für massive Übertragungen Transfer Appliance für den initialen Bulk-Transfer bevorzugen, dann STS oder CDC für inkrementelle Updates.

• Checkpoints und Backpressure (Rückstau): Dataflow verwaltet Checkpoints und Autoscaling; Senken (Sinks) so entwerfen, dass sie Lastspitzen abfangen können (Pufferung in Cloud Storage, Batch-Schreibvorgänge in BigQuery). Bei Pub/Sub die Flusssteuerung (Flow Control) und Ack-Deadlines anpassen, um massive erneute Zustellungen von Nachrichten (Redelivery Storms) zu verhindern.

• Reihenfolge und Konsistenz mit CDC:

  • Datastream erhält die Reihenfolge innerhalb von Transaktionen und gibt Commit-Metadaten aus; Consumer rekonstruieren die Reihenfolge pro Schlüssel anhand der Commit-Zeitstempel. At-least-once-Zustellung erwarten; Idempotenz sicherstellen.
  • DMS stellt die Datenbankkonsistenz während des Wechsels von Snapshot zu Replikation (Cutover) mithilfe nativer Logs sicher. Read Replicas oder Dual-Write-Strategien für einen schrittweisen Cutover verwenden.

• Dateistrategie für Analytics: Für den Zugriff durch mehrere Engines auf große Datenmengen die kanonischen Daten in Cloud Storage speichern und, wo kosteneffizient, permanente externe Tabellen für Ad-hoc-Abfragen bereitstellen. Für Produktions-Analytics in partitionierte BigQuery-Tabellen laden, um die Scan-Kosten pro Abfrage zu minimieren.

• Optimierung für kleine Dateien: Kleine Dateien vor der Übertragung bündeln (z. B. ~1.000 pro tar-Archiv), dann in der Cloud entpacken. Paralleles gsutil und Lifecycle-Regeln verwenden, um Staging-Artefakte in günstigere Speicherklassen zu verschieben (Tiering) und zu löschen.

• Betriebliche Fallstricke und Gegenmaßnahmen:

  • Schema-Drift von SaaS: Schema-Evolution in Data Fusion aktivieren und Kompatibilität erzwingen. Bei Breaking Changes alarmieren.
  • Zeitzone und Kodierung: Beim Eingang (Ingress) auf UTC und UTF-8 normalisieren.
  • Lücken bei CDC: die Log-Aufbewahrungsdauer der Quelle überwachen; alarmieren, wenn der Replica Lag sich den Aufbewahrungsgrenzen nähert.
  • Kontingente (Quotas): BigQuery Streaming Insert, API-Ratenbegrenzungen; auf Batch-Verarbeitung umstellen, wenn Limits fast erreicht sind.

Umstellung, Backfill und Verifizierung

• Planung der Umstellung:
  • Big Bang: Kurzer Freeze, einmalige Umstellung. Geringste betriebliche Komplexität; höchstes Risiko, wenn ein Rollback erforderlich ist.
  • Phasenweise oder Blue/Green: Paralleler Betrieb (Dual-Run) mit gespiegelten Schreibvorgängen, progressiver Traffic-Verschiebung und Shadow Reads. Höhere Kosten; sichereres Rollback.
• Backfill:
  • Führen Sie einen initialen Bulk-Load (Transfer Appliance oder STS) mit Avro/Parquet durch, um das Schema beizubehalten. Partitionieren und clustern Sie während des Ladevorgangs, um Nacharbeiten zu vermeiden.
  • Starten Sie CDC an einer bekannten Log-Position gleichzeitig mit dem Snapshot, um Deltas während der Massenübertragung zu erfassen. Gleichen Sie die Daten an einem gemeinsamen Wasserzeichen (Watermark) ab, bevor Sie für die Produktion öffnen.
• Rollback:
  • Behalten Sie das Altsystem während der Verifizierung im schreibgeschützten Modus. Gaten Sie bei Dual-Write-Szenarien Schreibvorgänge hinter einem Feature-Flag, um schnell zurückkehren zu können. Halten Sie einen konsistenten Checkpoint vor, um CDC-Änderungen bei Bedarf erneut abzuspielen oder rückgängig zu machen.
• Verifizierung der Migration:
  • Strukturell: Zeilenanzahlen und Checksummen pro Partition stimmen überein; Schema und Constraints sind äquivalent.
  • Zeitlich: Keine Lücken von der Snapshot-Grenze bis zur Umstellung; CDC-Positionen sind durchgehend.
  • Geschäftliche Parität: Vergleichen Sie Aggregate und KPIs über Zeitfenster; führen Sie Abnahmeabfragen (Acceptance Queries) aus.
  • Performance: Validieren Sie den Ingestionsdurchsatz, die Abfragelatenz und die Kosten im Vergleich zu den Budgets.

Praktisches Problemszenario

Northstar Retail muss eine globale Mischung aus lokalen (On-Prem) transaktionalen Oracle- und MySQL-Systemen, SaaS-CRM-Ereignissen und täglichen CSV-Lieferungen in Google Cloud konsolidieren, um Analysen und Machine Learning in Nahezu-Echtzeit zu ermöglichen. Außerdem müssen sie einen alten Hadoop-Cluster migrieren, ohne hohe Kosten für Blockspeicher zu verursachen, und eine Umstellung mit keiner oder nur geringer Ausfallzeit erreichen.

1. Sichere hybride Konnektivität herstellen

• Nutzen Sie Partner Interconnect für die primäre Bandbreite und Cloud VPN als Fallback. Aktivieren Sie Private Google Access, damit lokale Workloads privat auf Cloud Storage und Pub/Sub zugreifen können. Rationale: Private Pfade minimieren die Latenz und die Gefährdung durch Egress-Traffic. Private Google Access vermeidet die Notwendigkeit öffentlicher IPs und erfüllt gleichzeitig die Sicherheitsrichtlinien.

2. Historische Daten effizient übertragen (Seeding)

• Kopieren Sie 800 TB an historischen HDFS-Daten mit Transfer Appliance (initialer Bulk) nach Cloud Storage. Führen Sie nach dem Seeding täglich den Storage Transfer Service vom lokalen NFS-Export aus, um Änderungen bis zur Umstellung zu übernehmen. Rationale: Transfer Appliance vermeidet eine längere Sättigung des Netzwerks; STS bietet eine geplante, durch Checksummen geprüfte inkrementelle Synchronisierung. Die Speicherung in Cloud Storage mit dem GCS-Connector ermöglicht die Verarbeitung mit Dataproc ohne 50 TB Persistent Disk pro Knoten.

3. Operative Datenbanken mit CDC migrieren

• Verwenden Sie DMS, um MySQL und PostgreSQL mit minimaler Ausfallzeit zu migrieren. Für die Oracle-zu-Analytics-CDC nutzen Sie Datastream für das Landing in Cloud Storage und anschließend ein von Google bereitgestelltes Dataflow-Template, um die Daten in BigQuery zu laden. Rationale: DMS nutzt native Replikation für eine zuverlässige Kombination aus Snapshot und kontinuierlicher Synchronisierung; Datastream bietet serverloses CDC mit Commit-Metadaten, während das Dataflow-Template geordnete, idempotente Schreibvorgänge in BigQuery sicherstellt.

4. SaaS- und dateibasierte Feeds erfassen

• Erstellen Sie Cloud Data Fusion-Pipelines mit SaaS-Konnektoren für CRM-Ereignisse mit inkrementellen Token und eine Datei-Pipeline, um tägliche CSVs von einem SFTP-Server eines Anbieters über STS zu erfassen. Normalisieren Sie die Daten zu Avro in einem kuratierten Cloud Storage-Bucket und laden Sie sie dann in partitionierte BigQuery-Tabellen. Rationale: Data Fusion zentralisiert Konnektoren, Transformation und Lineage. Die Standardisierung auf Avro bewahrt das Schema und erleichtert dessen Weiterentwicklung; partitionierte BigQuery-Tabellen reduzieren die Abfragekosten.

5. Echtzeit-Events streamen

• Veröffentlichen Sie Web- und Store-Events in Pub/Sub. Verarbeiten Sie sie mit Dataflow für Parsing, Validierung, Anreicherung und Watermarking; schreiben Sie sie über die Storage Write API in BigQuery und archivieren Sie die rohen Avro-Daten in Cloud Storage. Rationale: Pub/Sub entkoppelt Produzenten und Konsumenten; Dataflow bietet Autoscaling, zustandsbehaftete Verarbeitung, Checkpoints und die Verarbeitung verspäteter Daten (Late Data Handling); der duale Schreibvorgang (Dual-Write) gewährleistet sowohl Analysen mit geringer Latenz als auch eine dauerhafte Aufbewahrung der Rohdaten.

6. Datenqualität und Schemakontrollen an den Schnittstellen durchsetzen

• Implementieren Sie eine Schema-Registry und -Validierung in Dataflow/Data Fusion. Leiten Sie fehlerhafte Datensätze in einen GCS-Quarantäne-Bucket und ein Pub/Sub Dead-Letter-Topic um. Wenden Sie Domänenprüfungen an (z. B. Währungscodes, UTC-Zeitstempel) und deduplizieren Sie mithilfe zusammengesetzter Schlüssel. Rationale: Frühes Verwerfen und Verschieben in Quarantäne verhindert die Ausbreitung fehlerhafter Daten; Idempotenz und Deduplizierung schützen vor den Auswirkungen der At-least-once-Zustellung von CDC- und Streaming-Quellen.

7. Speicher und Zugriff für Analysen optimieren

• Laden Sie kuratierte Datensätze in partitionierte und geclusterte BigQuery-Tabellen. Stellen Sie Roharchive als permanente externe Tabellen für selten genutzte explorative Analysen bereit. Für OLTP-Workloads, die transaktional bleiben, behalten Sie Cloud SQL mit Lesereplikaten bei. Rationale: Partitionierung und Clustering minimieren die Scan-Kosten; externe Tabellen vermeiden unnötige Ladevorgänge für gelegentliche Zugriffe; Cloud SQL bewahrt die ACID-Semantik für transaktionale Anwendungen.

8. Umstellung, Backfill und Rollback planen

• Führen Sie Snapshot + CDC für jedes RDBMS aus; erreichen Sie einen Abgleichpunkt, an dem Zeilenanzahlen und Checksummen übereinstimmen. Führen Sie einen Blue/Green-Betrieb mit Dual-Writes für 48 Stunden durch und verlagern Sie die Lesevorgänge schrittweise auf BigQuery. Halten Sie ein Feature-Flag bereit, um Schreibvorgänge rückgängig zu machen, falls Abweichungen festgestellt werden. Rationale: Blue/Green reduziert das Risiko; die Verifizierung an einem bekannten Wasserzeichen stellt die Vollständigkeit sicher; Flags ermöglichen ein schnelles Rollback.

9. Verifizierung und Beobachtbarkeit (Observability)

• Erstellen Sie Kontrolltabellen, die Quell-LSN/SCN, Commit-Zeitstempel, Zeilenanzahlen und Checksummen pro Partition erfassen. Überwachen Sie die Datastream-Verzögerung, den DMS-Replikationsstatus, Dataflow-Wasserzeichen, den Pub/Sub-Backlog, den STS-Jobstatus und die BigQuery-Streaming-Insert-Metriken. Rationale: End-to-End-Lineage und quantitative Kontrollen liefern einen auditierbaren Nachweis der Korrektheit und ermöglichen eine zeitnahe Alarmierung bei Lücken oder Verzögerungen.

Durch die Trennung von Landing-, Kuratierungs- und Bereitstellungsschichten (Serving Layers); die Nutzung von Cloud Storage als langlebiges, kostengünstiges Staging- und Archivsystem; den Einsatz von DMS/Datastream für CDC mit idempotenten Konsumenten; und die Durchsetzung von Schema- und Qualitätskontrollen bei der Datenerfassung (Ingress) erreicht Northstar Retail eine sichere, skalierbare Ingestion und eine risikoarme, verifizierbare Migration mit vorhersagbaren Kosten.

← Spark · Alle Domänen · Workflow-Orchestrierung und Pipeline-Automatisierung →

Diese Fragen üben → · Zeitlich begrenzte Übung auf ExamRoll.io →

Google durchsuchen →