Die Dataflow-Vorverarbeitung liest viele BigQuery-Logs; die Leistung ist schlecht und die Daten wachsen schnell. Welche Änderung verbessert die Leseleistung?

Die Verwendung von .fromQuery() mit einer spezifischen Abfrage, die nur die benötigten Felder auswählt, ist die effektivste Methode zur Verbesserung der Leseleistung. BigQuery muss dann weniger Daten scannen und übertragen, was die Verarbeitungszeit und Kosten reduziert, insbesondere bei großen Datensätzen. Das explizite Angeben des TableReference-Objekts ist Standard und verbessert die Leistung nicht direkt. Die Verwendung von TableSchema und TableFieldSchema dient der Schemadefinition und beeinflusst die Leseleistung nicht maßgeblich. Eine Transformation, die TableRow-Objekte zurückgibt, ist eine Verarbeitungslogik nach dem Lesen und optimiert nicht den Lesevorgang selbst.