Um parceiro externo envia diariamente arquivos CSV com algumas linhas malformadas para o GCS. Você precisa carregar esses dados no BigQuery e inspecionar as linhas inválidas. Qual design de pipeline é apropriado?

A opção correta é usar um pipeline do Google Cloud Dataflow. O Dataflow permite processar os dados, identificar linhas malformadas e direcioná-las para uma tabela de "dead-letter" (erros) para análise posterior, enquanto os dados válidos são carregados no BigQuery. Isso atende ao requisito de carregar os dados e inspecionar as linhas inválidas. Fontes de dados federadas não resolvem o problema de linhas malformadas, apenas permitem consultar dados externos. O monitoramento do BigQuery no Stackdriver é para desempenho e uso, não para validação de dados em nível de linha. Definir maxbadrecords como 0 com a CLI gcloud faria com que o carregamento falhasse completamente ao encontrar a primeira linha inválida, impedindo o carregamento dos dados válidos e a inspeção dos inválidos.