Code voegt momenteel veel kleine rijen in BigQuery in. Welke wijziging zal de doorvoer verbeteren?

Het opnemen van meerdere rijen per invoegverzoek (batching) verbetert de doorvoer aanzienlijk bij het invoegen van kleine rijen in BigQuery. BigQuery is geoptimaliseerd voor het verwerken van grote datasets en batch-bewerkingen verminderen de overhead per invoeging, zoals netwerklatentie en API-aanroepkosten. Het parallel uitvoeren van individuele invoegingen met threads kan de doorvoer enigszins verbeteren, maar is minder efficiënt dan batching. Het schrijven naar Cloud Storage en vervolgens laden in BigQuery is geschikt voor zeer grote datasets of bulk-ladingen, maar introduceert extra stappen en latentie voor veel kleine rijen. Parallel schrijven naar Cloud Storage en laden heeft hetzelfde nadeel.