Ihre Datenbestände befinden sich in BigQuery, Pub/Sub und PostgreSQL auf Compute Engine. Sie benötigen eine bessere Auffindbarkeit der Daten bei minimalem Entwicklungs-/Konfigurationsaufwand. Welche Katalogisierungsstrategie wählen Sie?

Die korrekte Antwort ist, Data Catalog für BigQuery-Datasets und Pub/Sub-Themen automatisch zu verwenden und benutzerdefinierte Konnektoren für PostgreSQL-Tabellen manuell zu nutzen. Data Catalog bietet native Konnektoren für BigQuery und Pub/Sub, was eine automatische Katalogisierung mit minimalem Aufwand ermöglicht. Für PostgreSQL, das auf Compute Engine läuft, gibt es keinen nativen automatischen Konnektor in Data Catalog. Daher ist die Verwendung von benutzerdefinierten Konnektoren über die Data Catalog API die effizienteste Methode, um diese Datenquellen zu integrieren. Die Option, Data Catalog APIs manuell für Pub/Sub und PostgreSQL zu verwenden, ist weniger effizient, da Pub/Sub automatisch katalogisiert werden kann. Die ausschließliche Verwendung von Kundenkonnektoren für alle Quellen wäre unnötig aufwendig, da BigQuery und Pub/Sub automatische Integrationen bieten.