Sie haben On-Prem-Spark-Jobs, die täglich Parquet verarbeiten. Bei der Migration zu Google Cloud möchten Sie verwaltete Dienste, minimale ETL-Änderungen und BigQuery-Verfügbarkeit für zukünftige Pipelines. Was sollten Sie tun?

Die Migration von Daten zu Cloud Storage und Metadaten zu Dataproc Metastore (DPMS) ist die beste Lösung, da sie die Nutzung verwalteter Dienste ermöglicht und minimale ETL-Änderungen erfordert. Ihre bestehenden Spark-Jobs können mit geringem Aufwand angepasst werden, um Daten aus Cloud Storage zu lesen und dorthin zu schreiben. Die Ausführung auf Dataproc Serverless bietet eine vollständig verwaltete, skalierbare Umgebung ohne Infrastrukturmanagement. Die BigQuery-Verfügbarkeit ist gewährleistet, da BigQuery externe Tabellen über Cloud Storage und DPMS erstellen kann. Die Registrierung des Buckets als Dataplex-Asset ist zwar nützlich für die Datenverwaltung, ersetzt aber nicht die Notwendigkeit eines Metastore für Spark. Die Migration der Daten direkt zu BigQuery würde umfangreiche Änderungen an den Spark-Jobs erfordern, da BigQuery ein anderes Speicherformat als Parquet verwendet. BigLake ist keine eigenständige Speicherlösung, sondern eine Abstraktionsschicht über Cloud Storage, und Dataproc auf Compute Engine ist weniger verwaltet als Dataproc Serverless.