Vous avez des tâches Spark sur site qui traitent quotidiennement des fichiers Parquet. Lors de la migration vers Google Cloud, vous souhaitez des services gérés, des modifications ETL minimales et la disponibilité de BigQuery pour les futurs pipelines. Que devez-vous faire ?

La bonne approche est de migrer les données Parquet vers Cloud Storage, car il s'agit d'un lac de données évolutif et rentable, compatible avec Spark. Le Dataproc Metastore (DPMS) est essentiel pour gérer les métadonnées de ces fichiers Parquet, permettant aux tâches Spark de les découvrir et de les interroger efficacement sans modifications majeures du code. L'exécution des tâches Spark sur Dataproc Serverless offre une plateforme entièrement gérée, éliminant la gestion de l'infrastructure et permettant une mise à l'échelle automatique, ce qui minimise les modifications ETL. Les autres options sont moins optimales : Enregistrer le bucket dans Dataplex est utile pour la gouvernance des données, mais ne remplace pas la nécessité d'un Metastore pour les métadonnées Spark. Migrer directement vers BigQuery nécessiterait une refonte plus importante des tâches Spark si elles sont conçues pour des fichiers Parquet et ne répond pas directement à l'exigence de "modifications ETL minimales" pour les tâches Spark existantes. BigLake est une fonctionnalité de BigQuery pour interroger des données externes, pas un emplacement de stockage principal pour les fichiers Parquet bruts. L'exécution sur Dataproc sur Compute Engine est moins gérée que Dataproc Serverless.