Você tem jobs Spark on-prem que processam Parquet diariamente. Migrando para o Google Cloud, você deseja serviços gerenciados, alterações mínimas de ETL e disponibilidade do BigQuery para pipelines futuros. O que você deve fazer?

A opção correta atende a todos os requisitos. Migrar dados para o Cloud Storage mantém o formato Parquet e minimiza as alterações de ETL, pois o Spark pode lê-lo nativamente. O Dataproc Metastore (DPMS) gerencia os metadados do Hive, que o Spark utiliza. O Dataproc Serverless oferece um serviço gerenciado para jobs Spark, eliminando a necessidade de gerenciar clusters e sendo compatível com o Cloud Storage. A disponibilidade do BigQuery é garantida, pois ele pode consultar dados diretamente do Cloud Storage usando tabelas externas ou BigLake. As outras opções são menos ideais: Registrar o bucket no Dataplex não substitui a necessidade de um metastore para o Spark. Migrar dados para o BigQuery exigiria uma refatoração significativa dos jobs Spark para se adaptar ao modelo de dados do BigQuery, o que contraria o requisito de "alterações mínimas de ETL". Usar o Dataproc on Compute Engine não é um serviço totalmente gerenciado, exigindo gerenciamento de infraestrutura, e o BigLake não é um destino de migração de dados, mas uma tecnologia para acessar dados de diferentes fontes.