Je moet BigQuery-tabellen met een kolom `employee_ssn` vinden in meer dan 1000 datasets en vele projecten met minimale inspanning. Wat moet je doen?

De juiste aanpak is om te zoeken in Data Catalog. Data Catalog is een volledig beheerde, schaalbare service voor metadata-beheer die het ontdekken, beheren en begrijpen van data-assets vergemakkelijkt. Het indexeert automatisch BigQuery-tabellen en stelt je in staat om snel te zoeken naar specifieke kolomnamen, zelfs over honderden projecten en datasets heen, met minimale inspanning. Het schrijven van een shellscript met de bq CLI of een ander script dat INFORMATIONSCHEMA.COLUMNS bevraagt, zou aanzienlijk meer ontwikkelings- en onderhoudsinspanning vereisen en is minder efficiënt voor het ontdekken van data over een groot aantal projecten. Een Cloud Dataflow-taak is een overkill voor deze zoekopdracht en zou onnodige complexiteit en kosten met zich meebrengen.