Você deve localizar tabelas do BigQuery que contenham uma coluna employee_ssn em mais de 1000 conjuntos de dados e em muitos projetos com o mínimo de esforço. O que você deve fazer?

A pesquisa no Data Catalog é a solução mais eficiente e com o mínimo de esforço para localizar dados em vários projetos e conjuntos de dados. O Data Catalog indexa automaticamente os metadados do BigQuery, permitindo buscas rápidas por nomes de colunas como "employeessn" em toda a sua organização. As outras opções envolvem a criação de scripts complexos que iteram manualmente por projetos e conjuntos de dados, o que é demorado e ineficiente para uma escala tão grande. A CLI bq e o INFORMATIONSCHEMA.COLUMNS são úteis para consultas dentro de um projeto ou conjunto de dados específico, mas não são projetados para descoberta de metadados em toda a organização. O Cloud Dataflow seria um exagero para esta tarefa simples de pesquisa de metadados.