HDFSデータレイクをCloud Storageに移行しました。データサイエンティストは、列レベルのセキュリティを備えたApache SparkとSQLを、データメッシュにスケールする費用対効果の高いソリューションで実行する必要があります。何を構築しますか？

このソリューションは、Cloud Storage上のデータに対してBigLakeテーブルを定義し、Data Catalogのポリシータグを使用して列レベルのセキュリティを適用します。これにより、データメッシュにスケール可能な費用対効果の高い方法で、Apache SparkまたはBigQuery SQLを介してデータサイエンティストがデータにアクセスできるようになります。Spark-BigQueryコネクタを使用することで、SparkからBigLakeテーブルにアクセスできます。 他の選択肢が不適切な理由は以下の通りです。 長時間稼働するDataprocクラスタは費用対効果が悪く、データメッシュの要件を満たしません。 データをネイティブのBigQueryテーブルにロードすると、Cloud Storageにデータを保持するという要件に反し、ストレージコストが増加します。 Cloud StorageファイルレベルでのIAMは列レベルのセキュリティを提供せず、SQLアクセスも限定的です。