O código atualmente insere muitas linhas pequenas no BigQuery. Qual mudança melhorará o throughput?

A inserção de várias linhas por solicitação (inserção em lote) é a maneira mais eficiente de melhorar o throughput no BigQuery para cargas de trabalho que inserem muitas linhas pequenas. Cada solicitação de API tem uma sobrecarga, e agrupar várias linhas em uma única solicitação reduz essa sobrecarga, otimizando o uso da rede e dos recursos do BigQuery. Realizar inserções em paralelo com múltiplas threads pode ajudar, mas sem o agrupamento de linhas, cada thread ainda incorreria na sobrecarga de solicitações individuais. Gravar cada linha no Cloud Storage e depois carregar no BigQuery adiciona uma etapa intermediária desnecessária e complexidade, aumentando a latência e o custo, em vez de melhorar o throughput para inserções em tempo real. Gravar em paralelo no Cloud Storage e depois carregar também mantém a ineficiência da etapa intermediária e não resolve a questão da sobrecarga de pequenas inserções diretas.