Vous avez migré un lac de données HDFS vers Cloud Storage. Les scientifiques des données doivent exécuter Apache Spark et SQL avec une sécurité au niveau des colonnes, dans une solution rentable qui s'adapte à un maillage de données. Que construisez-vous ?

La bonne réponse est de définir des tables BigLake sur Cloud Storage, d'utiliser Data Catalog pour la sécurité au niveau des colonnes, puis de traiter avec Spark ou BigQuery SQL. BigLake permet d'interroger des données dans Cloud Storage avec BigQuery, offrant une sécurité au niveau des colonnes et des lignes via Data Catalog Policy Tags, ce qui est essentiel pour la sécurité demandée. Cette approche est rentable car elle utilise le stockage objet et s'intègre bien dans une architecture de maillage de données. Les autres options sont moins optimales : Déployer des clusters Dataproc de longue durée avec Hive et Ranger est plus coûteux et complexe à gérer pour la sécurité au niveau des colonnes à l'échelle d'un maillage de données. Charger les données dans des tables BigQuery natives est coûteux pour un lac de données et ne répond pas à l'exigence de travailler directement sur Cloud Storage. Appliquer IAM au niveau du fichier Cloud Storage est trop granulaire et ne permet pas une sécurité au niveau des colonnes pour Spark ou SQL de manière efficace.