O pré-processamento do Dataflow lê muitos logs do BigQuery; o desempenho é ruim e os dados estão crescendo rapidamente. Qual alteração melhora o desempenho de leitura?

A opção correta é usar uma leitura .fromQuery que selecione apenas os campos específicos necessários. Isso melhora o desempenho de leitura porque reduz a quantidade de dados que o BigQuery precisa processar e transferir para o Dataflow. Ao invés de ler a tabela inteira, o BigQuery otimiza a consulta para buscar somente as colunas essenciais, diminuindo a latência e o custo. Especificar o TableReference explicitamente é uma boa prática, mas não otimiza o volume de dados lidos. Usar TableSchema e TableFieldSchema é para definir o esquema, não para otimizar a leitura. Aplicar uma transformação que retorne objetos TableRow é o comportamento padrão de leitura do BigQuery no Dataflow e não representa uma otimização de desempenho por si só.