Google PDE: Data Governance, Sicherheit, Zuverlässigkeit und betriebliches Kostenmanagement — Lernleitfaden

By Laurynas Brazys · 21 August 2026 · #google #PDE #certification #exam-prep #study-guide

Teil des Google Professional Data Engineer — Lernleitfaden. Üben Sie mit verifizierten Antworten im Google-Prüfungscenter, oder absolvieren Sie zeitlich begrenzte Übungstests auf ExamRoll.io.

Überblick

Dieser Abschnitt fasst Entwurfsmuster und Betriebspraktiken für Data Governance, Sicherheit, Zuverlässigkeit und Kostenmanagement auf Google Cloud zusammen. Er konzentriert sich auf BigQuery, Cloud Storage, Dataflow, Dataplex und unterstützende Dienste. Der Schwerpunkt liegt auf dem Prinzip der geringsten Rechte (Least Privilege), der Verwaltung von Verschlüsselungsschlüsseln, Metadaten und Klassifizierung, richtliniengesteuertem Zugriff, Compliance-Nachweisen, Observability mit umsetzbaren SLOs und Kostenkontrolle. Abwägungen, Fehlermodi und praktische Konfigurationen sind enthalten, um sichere, auditierbare und effiziente Datenplattformen zu ermöglichen.

Identität, Zugriff und Governance

• IAM, Servicekonten, Impersonation, Workload Identity, Prinzip der geringsten Rechte

  • Identitätsgrenzen
    • Benutzer und Gruppen über Cloud Identity oder Google Workspace
    • Servicekonten für Workloads; weisen Sie eng gefasste Rollen auf der niedrigsten praktikablen Ressourcenebene zu (z. B. Dataset statt Projekt)
  • Prinzip der geringsten Rechte (Least Privilege)
    • Bevorzugen Sie vordefinierte Rollen gegenüber primitiven Rollen; für BigQuery verwenden Sie Rollen wie bigquery.dataViewer auf Datasets anstelle des viewer auf Projektebene
    • Vergeben Sie Berechtigungen an Gruppen; verwalten Sie die Mitgliedschaft in einem IdP, nicht pro Benutzer in IAM
    • Aufgabentrennung: separate Rollen für Schlüsselmanagement, Datenzugriff und Administration
  • Impersonation und Workload Identity Federation
    • Verwenden Sie Service Account Impersonation (Rolle roles/iam.serviceAccountTokenCreator), damit CI/CD oder Automatisierung niemals langlebige Schlüssel speichert
    • Verwenden Sie Workload Identity Federation mit OIDC/SAML, damit externe Identitäten kurzlebige Token ohne Servicekonto-Schlüsseldateien erhalten können
  • Fehlermodi und Gegenmaßnahmen
    • Übermäßige Rollen auf Projektebene führen zu Lateral Movement; auditieren Sie mit Cloud Asset Inventory
    • Verlorene private Schlüssel von Servicekonten: Verbieten Sie die Erstellung von Schlüsseln; verwenden Sie Organisationsrichtlinien-Constraints, um den Download von Schlüsseln zu blockieren; rotieren Sie Schlüssel, falls sie gefunden werden

• Dataplex Governance, Data Catalog, Geschäftsmetadaten, Lineage

  • Dataplex bietet Lakes, Zones und Assets, um die Governance über BigQuery und Cloud Storage mit zentralisierten Richtlinien zu vereinheitlichen
  • Data Catalog enthält ein Geschäftsglossar, Tag-Vorlagen und technische Metadaten; fügen Sie Geschäftsmetadaten (Eigentümer, PII-Klasse, RTO/RPO) über Tags an
  • Lineage erfasst Upstream-/Downstream-Beziehungen; verwenden Sie Dataplex-Lineage-Integrationen mit Dataflow, Dataproc und BigQuery, um Auswirkungen und den Compliance-Umfang nachzuverfolgen
  • Abwägungen
    • Zentralisierte Governance verursacht anfänglichen Mehraufwand, reduziert aber langfristig das Risiko und beschleunigt Audits

• Policy-Tags, Klassifizierung, Zugriff auf Zeilenebene, Spaltenmaskierung

  • Klassifizierung
    • Definieren Sie eine Taxonomie (z. B. öffentlich, intern, vertraulich, eingeschränkt) in den Policy-Tags von Data Catalog
    • Hängen Sie Policy-Tags an BigQuery-Spalten; binden Sie IAM an Tags, damit der Zugriff der Klassifizierung über Tabellen hinweg folgt
  • Spaltenmaskierung
    • Verwenden Sie BigQuery-Datenmaskierungsrichtlinien, um sensible Spalten für nicht privilegierte Leser zu hashen oder auf null zu setzen

    • Beispiel:

undefined

• Zugriff auf Zeilenebene
  • Verwenden Sie Zeilenzugriffsrichtlinien, um Datensätze nach Attributen wie tenant_id oder region zu filtern

  • Beispiel:

undefined

• Fehlermodi

  • Wenn IAM-Berechtigungen für Policy-Tags nicht an Servicekonten von Pipelines vergeben werden, führt dies zu Abfragefehlern; fügen Sie bei Bedarf policy tag viewer/accessor für Service-Agents hinzu
  • Zeilenrichtlinien können die Leistung beeinträchtigen, wenn es viele hochselektive benutzerspezifische Prädikate gibt; bevorzugen Sie eine grobkörnige Dataset-pro-Mandant-Trennung, wo eine strikte Isolation erforderlich ist

• Erkennung und De-Identifizierung sensibler Daten

  • Verwenden Sie Sensitive Data Protection, um Cloud Storage und BigQuery kontinuierlich zu scannen; erstellen Sie Discovery-Konfigurationen pro Lake/Zone mit Vorlagen
  • Verwenden Sie De-Identifizierungs-Transformationen: Tokenisierung, deterministische Verschlüsselung für Join-Fähigkeit oder Maskierung
  • Speichern Sie Transformationsschlüssel in Cloud KMS; bewahren Sie Re-Identifizierungsschlüssel separat und mit Vier-Augen-Prinzip (Dual Control) auf
  • Abwägungen
    • Deterministische Verschlüsselung ermöglicht Joins, kann aber Informationen über Häufigkeiten preisgeben; fügen Sie bei Bedarf formaterhaltende Verschlüsselung oder Bucketing hinzu
    • Stichproben (Sampling) reduzieren die Kosten von Discovery-Scans, können aber PII mit geringer Prävalenz übersehen

Betrieb von Sicherheit und Compliance

• Verschlüsselung, Cloud KMS, CMEK und Umgang mit Secrets

  • Verschlüsselung im Ruhezustand (at rest) und während der Übertragung (in transit) ist Standard; aktivieren Sie CMEK, wo eine regulatorische Kontrolle der Schlüssel erforderlich ist (BigQuery, GCS, Pub/Sub, Dataflow)
  • Schlüsselverwaltung
    • Platzieren Sie Schlüssel in derselben Region wie die Daten; erteilen Sie dem Service Agent (z. B. BigQuery Service Agent) die Rolle roles/cloudkms.cryptoKeyEncrypterDecrypter
    • Rotieren Sie Schlüssel regelmäßig; überwachen Sie auf deaktivierte oder zur Zerstörung vorgesehene Schlüssel
  • Fehlermodi
    • Das Deaktivieren eines CMEK-Schlüssels oder der Widerruf des Service Agents unterbricht Lade-, Abfrage- und Exportvorgänge; richten Sie Benachrichtigungen für Änderungen des Schlüsselstatus ein
    • Regionsübergreifende Schlüsselverwendung ist nicht zulässig; stimmen Sie die Standorte aufeinander ab, um Fehler bei der Job-Erstellung zu vermeiden
  • Secrets
    • Verwenden Sie Secret Manager für Datenbank-Anmeldeinformationen und API-Token; erteilen Sie den Zugriff über IAM und prüfen Sie ihn mit den Logs von Secret Manager
    • Binden Sie Secrets niemals in Code, Container oder Notebooks ein; binden Sie Secrets über den Laufzeitzugriff ein; bevorzugen Sie die IAM-Datenbankauthentifizierung, wo diese unterstützt wird

• Audit-Logs, Zugriffsüberprüfung, Compliance-Nachweise, Aufbewahrung

  • Aktivieren Sie Data Access-Logs organisationsweit für BigQuery, GCS und Pub/Sub; exportieren Sie sie in ein dediziertes, schreibgeschütztes Logging-Projekt mit CMEK
  • Erstellen Sie aggregierte Log-Senken nach BigQuery (für Analysen) und Cloud Storage (für ein langfristiges, unveränderliches Archiv mit Bucket-Aufbewahrungssperre)
  • Verwenden Sie Cloud Asset Inventory und Policy Analyzer für die regelmäßige Überprüfung von Zugriffen und die Erkennung von Abweichungen (Drift Detection)
  • Aufbewahrung
    • Legen Sie die Aufbewahrungsdauer für Logs gemäß den Compliance-Anforderungen fest; verwenden Sie Objektversionierung und Aufbewahrungsrichtlinien in GCS
    • Legen Sie in BigQuery eine standardmäßige Tabellenablaufzeit fest und verlassen Sie sich für kurzfristige Rollbacks auf Tabellen-Snapshots/Time Travel; archivieren Sie kritische Datensätze in separaten Projekten
  • Nachweise
    • Pflegen Sie eine Zuordnung von Kontrollen (Control Mapping) mit Dataplex-Tags (z. B. „SOX-C2: Nachweis in Projekt X, Senke Y“), automatisieren Sie Exporte und führen Sie geplante Abfragen aus, um Bescheinigungen (Attestations) zu erstellen

Zuverlässigkeit, Beobachtbarkeit, Qualität und Kostenmanagement

• Dimensionen der Datenqualität, Validierungs-Frameworks und Incident Response

  • Dimensionen: Genauigkeit, Vollständigkeit, Konsistenz, Aktualität, Gültigkeit, Eindeutigkeit, Integrität
  • Implementieren Sie Validierungen bei der Erfassung (Ingestion) und Transformation
    • Dataplex Data Quality-Regelsätze für BigQuery-Tabellen und GCS-Assets
    • Great Expectations oder Deequ in Dataflow/Dataproc für Schema- und Inhaltsprüfungen
  • Leiten Sie Fehler an Dead-Letter-Tabellen oder -Buckets mit aussagekräftigem Fehlerkontext weiter; vermeiden Sie Datenverlust durch Quarantäne fehlerhafter Datensätze
  • Incident Response
    • Definieren Sie Schweregrade, Verantwortliche, Kommunikationskanäle, Rollback-Pläne und RACI
    • Automatisieren Sie Runbooks, um Zeitfenster nachzufüllen (Backfill) und Dead Letters erneut zu verarbeiten; erstellen Sie Snapshots betroffener Tabellen vor der Behebung

• Cloud Monitoring, Logging, Alerting, Fehlerbudgets und SLOs

  • Metriken bereitstellen: Dataflow-Backlog, BigQuery-Slot-Auslastung, Abfragelatenz, GCS-Latenz/Fehler, nicht bestätigte Pub/Sub-Nachrichten (unacked messages)
  • SLOs
    • Beispiel: „99,9 % der Streaming-Ereignisse sind innerhalb von 5 Minuten über einen Zeitraum von 30 Tagen in BigQuery verfügbar“
    • Verfolgen Sie die Verbrauchsraten (Burn Rates) des Fehlerbudgets und alarmieren Sie bei schnellem Verbrauch (fast burns); erstellen Sie ein Ticket bei langsamem Verbrauch (slow burns)
  • Log-basierte Metriken und Benachrichtigungen
    • Erstellen Sie log-basierte Metriken für BigQuery-Jobfehler, DLP-Erkenntnisse und KMS-Schlüsselfehler
    • Verwenden Sie erweiterte Log-Filter, um bei spezifischen Tabellenanhängen oder Zugriffsanomalien zu alarmieren

• Kostenzuordnung, Budgets, Abfragekontrollen, Storage-Lebenszyklus, Kapazitätsplanung

  • Zuordnung und Budgets
    • Verwenden Sie Labels und Tags für alle Jobs, Datasets, Buckets und Reservierungen; exportieren Sie Abrechnungsdaten nach BigQuery und erstellen Sie Budgets mit Pub/Sub-Benachrichtigungen
  • BigQuery-Kostenkontrollen
    • Verwenden Sie Partitionierung und Clustering, um die gescannten Bytes zu reduzieren

    • Setzen Sie maximumBytesBilled für Abfrage-Jobs; Beispiel für Client-/Job-Konfiguration:

undefined

- Reservieren Sie Slots mit BigQuery Reservations für vorhersagbare Workloads; trennen Sie interaktive von Batch-Verarbeitungen durch Zuweisungen

• Storage-Lebenszyklus

  • GCS: Lebenszyklusregeln (Lifecycle Rules) zum Verschieben in kältere Speicherklassen oder zum Löschen nach N Tagen; aktivieren Sie die Objektversionierung, wo ein Rollback erforderlich ist
  • Beispiel (zusammengefasst): Löschen Sie nicht aktuelle Versionen nach 30 Tagen; legen Sie eine Aufbewahrungsrichtlinie (Retention Policy) für den Bucket auf 365 Tage für Compliance-Zonen fest
  • BigQuery: Standardablaufzeit für Tabellen (Default Table Expiration) für transiente Datasets; Snapshot vor destruktiven Änderungen erstellen

• Kapazitätsplanung

  • Dataflow: Maximale Anzahl an Workern und Autoscaling festlegen; Maschinentypen richtig dimensionieren (Right-Sizing); Eingaben sharden, um Hot Keys zu vermeiden
  • Pub/Sub: Überprüfen Sie die Publish/Consume-Kontingente und die Nachrichtenaufbewahrung
  • Netzwerk: Berücksichtigen Sie Egress-Traffic, regionenübergreifende Datenübertragung und Private Service Access für Datenbanken

• Disaster Recovery, Backups, multiregionale Resilienz und Runbooks

  • Klassifizieren Sie Dienste nach RTO/RPO; wählen Sie entsprechend Cold/Warm/Hot-Pattern
  • Backups
    • BigQuery: Regelmäßige Tabellen-Snapshots; Export nach GCS für externe Aufbewahrung, falls erforderlich
    • GCS: Dual-Region- oder Multi-Region-Buckets für Langlebigkeit; aktivieren Sie Bucket Lock für WORM-Compliance
    • Datenbanken: Verwaltete Backups in Cloud SQL und Bigtable; testen Sie Wiederherstellungen
  • Multiregional
    • Halten Sie Compute und Storage in derselben Multi-Region, um Egress und Latenz zu minimieren; vermeiden Sie interkontinentale Abhängigkeiten, sofern nicht erforderlich
  • Runbooks
    • Dokumentieren Sie Failover, Schlüsselwiederherstellung, KMS-Notfallverfahren, Wiederherstellung aus Exporten (Rehydration) und Neuzuweisungen von BigQuery-Reservierungen
    • Testen Sie DR durch Game Days; verfolgen Sie die Wiederherstellungszeit (Time-to-Recover) und aktualisieren Sie die SLOs

Praktisches Problemszenario

NovaRetail Analytics arbeitet mit mehreren Marken zusammen, um tägliche CSVs mit Transaktionsdaten in eine gemeinsame Analyseplattform aufzunehmen. Die Dateien kommen in einem Cloud Storage Landing Bucket an und enthalten gelegentlich fehlerhafte Zeilen. Die Plattform muss das Prinzip der geringsten Rechte (Least Privilege) durchsetzen, sodass jeder Kunde nur auf seine eigenen Daten zugreifen kann, sensible Felder erkennen und sofortige Benachrichtigungen bereitstellen, wenn Zeilen zu einer bestimmten Audit-Tabelle hinzugefügt werden. Das Unternehmen benötigt außerdem Kostenkontrollen und einen Wiederherstellungsplan.

Ansatz:

1. Mandanten isolieren und Least Privilege durchsetzen

   • Erstellen Sie ein dediziertes BigQuery-Dataset pro Kunde (z. B. client_a_analytics). Weisen Sie nur der Gruppe des Kunden die entsprechenden Dataset-Rollen (bigquery.dataViewer, bigquery.jobUser) zu und beschränken Sie die Nutzung der BigQuery API auf genehmigte Benutzer über IAM und gegebenenfalls VPC-SC.
   • Begründung: Ein Dataset pro Mandant begrenzt den Explosionsradius (Blast Radius) und vereinfacht die Komplexität von Zeilenrichtlinien. Die Festlegung von geringsten Rechten auf Dataset-Ebene verhindert standardmäßig den mandantenübergreifenden Zugriff.

2. Schema, Klassifizierung und Maskierung steuern

   • Definieren Sie eine Data Catalog Policy-Tag-Taxonomie (public, internal, confidential, restricted) und Tag-Vorlagen für Owner, Data Steward und RTO/RPO. Hängen Sie Policy Tags an sensible Spalten (email, card_suffix) in jedem Kunden-Dataset an. Wenden Sie BigQuery-Maskierungsrichtlinien an, um die Ansichten für nicht privilegierte Rollen einzuschränken.
   • Beispiel:

undefined

• Begründung: Zentrale Tags ermöglichen eine einheitliche Steuerung über alle Tabellen hinweg; die Maskierung gewährleistet standardmäßig sichere Lesezugriffe, ohne Daten zu duplizieren.

3. PII erkennen und bei Bedarf De-Identifizierung durchsetzen

   • Konfigurieren Sie die Erkennung von Sensitive Data Protection, um den Landing Bucket und die kuratierten BigQuery-Tabellen zu scannen. Verwenden Sie eine Inspektionsvorlage für gängige PII und eine De-Identifizierungsvorlage, um E-Mails für Join-Anwendungsfälle deterministisch zu tokenisieren.
   • Begründung: Die automatisierte Erkennung reduziert manuelle Fehler; die deterministische Tokenisierung schafft einen Ausgleich zwischen Datenschutz und den Anforderungen von Analyse-Joins.

4. Pipeline mit Service Accounts, Impersonation und CMEK absichern

   • Verwenden Sie ein Dataflow Service Account nur mit den benötigten Rollen: storage.objectViewer für den Landing Bucket, bigquery.dataEditor für die Ziel-Datasets und gegebenenfalls Zugriff auf Policy Tags. Verwenden Sie CMEK für die Kunden-Datasets und gewähren Sie den BigQuery- und Dataflow-Service-Agents die Rolle CryptoKey Encrypter/Decrypter.
   • Begründung: Eng gefasste Rollen plus CMEK erfüllen die Anforderungen an Least Privilege und Schlüsselkontrolle. Der Zugriff der Service-Agents auf die Schlüssel verhindert Job-Fehler.

5. Resiliente Datenerfassung mit Fehlerquarantäne aufbauen

   • Führen Sie einen Batch-Dataflow-Job aus, der die CSVs liest, das Schema validiert und gültige Zeilen in partitionierte BigQuery-Tabellen schreibt. Leiten Sie ungültige Zeilen in eine BigQuery-Dead-Letter-Tabelle mit Fehlerdetails (Dateiname, Zeile, Grund) um.
   • Begründung: Seitenausgaben (Side Outputs) bewahren fehlerhafte Daten zur Analyse auf, ohne die Verarbeitung guter Daten zu blockieren; partitionierte Tabellen reduzieren die Scankosten und beschleunigen Abfragen.

6. Lineage und Geschäftsmetadaten erstellen

   • Registrieren Sie den Landing Bucket und die Datasets als Dataplex-Assets in einem Lake. Aktivieren Sie die Lineage-Erfassung für den Dataflow-Job und versehen Sie kuratierte Tabellen mit Geschäftsmetadaten (Data Owner, Sensitivität, Aufbewahrungsfrist).
   • Begründung: Zentralisierte Governance ermöglicht Auswirkungsanalysen, Audit-Bereitschaft und standardisierte Stewardship.

7. Überwachen, alarmieren und auditieren

   • Aktivieren Sie Admin- und Data-Access-Audit-Logs, die mit CMEK in ein zentrales Logging-Projekt und zur Analyse nach BigQuery exportiert werden. Fügen Sie eine log-basierte Benachrichtigung für neue Zeilen hinzu, die der Audit-Tabelle angehängt werden, indem Sie einen erweiterten Filter für BigQuery-Insert-Jobs verwenden; exportieren Sie diesen Sink nach Pub/Sub, damit das Monitoring-Tool ihn konsumieren kann.
   • Begründung: Logs sind manipulationssichere Nachweise; gezielte Benachrichtigungen informieren nur über die erforderliche Tabelle und reduzieren so das Rauschen (Noise).

8. Kostenkontrollen und Abfrage-Leitplanken (Guardrails) durchsetzen

   • Fordern Sie, dass Abfrage-Jobs maximumBytesBilled setzen, und nutzen Sie Clustering für Spalten mit hoher Kardinalität (z. B. order_id). Wenden Sie Budgets an und setzen Sie Labels (client, environment) für Jobs und Datasets. Verwenden Sie BigQuery Reservations, um interaktive Analysen von geplanten Ladevorgängen zu trennen.
   • Begründung: Leitplanken verhindern ausufernde Kosten; Labels ermöglichen die Kostenverrechnung (Chargeback); die Slot-Isolierung sorgt für eine vorhersagbare Leistung.

9. Aufbewahrung und DR implementieren

   • Aktivieren Sie im Landing Bucket die Objektversionierung und eine Lebenszyklusregel, um Objekte nach 30 Tagen zu löschen; legen Sie eine Aufbewahrungsrichtlinie für Compliance-Zonen fest. Legen Sie in BigQuery eine Standardablaufzeit für Staging-Tabellen fest und erstellen Sie regelmäßig Tabellen-Snapshots von kuratierten Tabellen. Speichern Sie KMS-Backup-Verfahren und Schritte zur Tabellenwiederherstellung in Runbooks und testen Sie diese vierteljährlich.
   • Begründung: Das Lebenszyklusmanagement reduziert die Speicherkosten; Snapshots und dokumentierte Runbooks gewährleisten die Wiederherstellbarkeit. Tests validieren die RTO/RPO-Annahmen.

10. Regelmäßige Zugriffsüberprüfungen und Qualitäts-SLIs/SLOs

    • Exportieren Sie vierteljährlich IAM-Richtlinien mit Cloud Asset Inventory und vergleichen Sie sie mit einer genehmigten Baseline. Definieren Sie SLOs wie „99 % der täglichen Dateien werden innerhalb von 30 Minuten nach Eingang verarbeitet“ mit Benachrichtigungen zur Burn Rate. Verfolgen Sie Datenqualitäts-SLIs (Vollständigkeit, Gültigkeit) mithilfe von Dataplex Data Quality-Regeln und leiten Sie Verstöße an die Incident Response mit Backfill-Automatisierung weiter.
    • Begründung: Regelmäßige Überprüfungen verhindern eine Ausweitung von Berechtigungen (Privilege Creep); SLO-gesteuerte Abläufe richten den Aufwand an der Benutzererfahrung aus; automatisierte Qualitätsprüfungen erkennen Regressionen frühzeitig.

Behandelte technische Kompromisse und Fehlermodi:

• Eine Fehlkonfiguration von CMEK oder die Deaktivierung eines Schlüssels unterbricht Dataflow-Ladevorgänge und BigQuery-Abfragen; die Überwachung des KMS-Status und der Berechtigungen von Service-

← Maschinelles Lernen · Alle Domänen

Diese Fragen üben → · Zeitlich begrenzte Übung auf ExamRoll.io →

Google durchsuchen →