Je hebt on-prem Spark-taken die dagelijks Parquet verwerken. Bij de migratie naar Google Cloud wil je beheerde services, minimale ETL-wijzigingen en BigQuery-beschikbaarheid voor toekomstige pipelines. Wat moet je doen?

Deze optie voldoet aan alle eisen. Data wordt gemigreerd naar Cloud Storage, een beheerde opslagdienst. Dataproc Metastore (DPMS) biedt een beheerde Hive Metastore, essentieel voor Spark-taken die Parquet-bestanden verwerken en metadata nodig hebben. Het refactoren van Spark-taken om Cloud Storage te lezen/schrijven is een minimale aanpassing. Dataproc Serverless is een volledig beheerde dienst voor Spark, wat de operationele overhead minimaliseert. De combinatie van Cloud Storage en DPMS maakt BigQuery-integratie via externe tabellen mogelijk voor toekomstige pipelines. De andere opties zijn minder geschikt: Dataplex beheert data, maar vervangt de Hive Metastore niet direct voor Spark. BigQuery is een datawarehouse en niet de primaire opslag voor Parquet-bestanden die door Spark worden verwerkt, wat een grotere refactoring vereist. BigLake is een engine, geen opslagdienst, en Dataproc on Compute Engine is geen serverless optie.