Você migrou um data lake HDFS para o Cloud Storage. Os cientistas de dados precisam executar Apache Spark e SQL com segurança em nível de coluna, em uma solução econômica que se expanda para uma malha de dados. O que você constrói?

A opção correta alavanca o BigLake para tabelas sobre o Cloud Storage, permitindo que o BigQuery e o Spark acessem os dados diretamente. A segurança em nível de coluna é implementada de forma econômica e escalável usando o Data Catalog para tags de política, que podem ser aplicadas às colunas. Isso atende aos requisitos de segurança, economia e escalabilidade para uma malha de dados. A primeira opção, Dataproc de longa duração com Hive e Ranger, é mais cara e complexa de gerenciar, além de não ser a solução mais moderna e escalável para uma malha de dados. A terceira opção, carregar dados para tabelas nativas do BigQuery, implica em duplicação de dados e custos adicionais de armazenamento e ingestão, o que não é econômico para um data lake. A quarta opção, IAM no nível do arquivo, não oferece segurança em nível de coluna e é menos granular, enquanto tabelas externas do BigQuery não fornecem os mesmos recursos de segurança e desempenho que o BigLake.