Der Code fügt derzeit viele kleine Zeilen in BigQuery ein. Welche Änderung wird den Durchsatz verbessern?

Das Einfügen mehrerer Zeilen pro Einfügeanforderung (Batching) ist die effektivste Methode zur Verbesserung des Durchsatzes beim Schreiben in BigQuery. Die BigQuery Streaming-API ist für das Einfügen von Daten in Batches konzipiert. Jede API-Anfrage hat einen gewissen Overhead, daher reduziert das Senden mehrerer Zeilen in einer einzigen Anfrage diesen Overhead pro Zeile und verbessert die Effizienz erheblich. Das parallele Einfügen mit mehreren Threads kann den Durchsatz bis zu einem gewissen Grad verbessern, aber ohne Batching bleibt der Overhead pro Zeile hoch. Das Schreiben jeder Zeile in ein Cloud Storage-Objekt und das anschließende Laden in BigQuery ist für kleine, einzelne Zeilen extrem ineffizient, da dies zu vielen kleinen Dateien und zusätzlichem Overhead führt. Das parallele Schreiben in Cloud Storage hat die gleichen Nachteile und ist für diesen Anwendungsfall nicht optimiert.