Le prétraitement Dataflow lit de nombreux journaux BigQuery ; les performances sont médiocres et les données augmentent rapidement. Quel changement améliore les performances de lecture ?

La lecture de journaux BigQuery avec de mauvaises performances et une croissance rapide des données indique un besoin d'optimisation. L'utilisation d'une lecture .fromQuery() qui sélectionne uniquement les champs spécifiques nécessaires est la solution la plus efficace. En ne récupérant que les colonnes indispensables, vous réduisez considérablement la quantité de données transférées de BigQuery vers Dataflow, ce qui améliore les performances de lecture et minimise les coûts. Spécifier explicitement l'objet TableReference est une bonne pratique mais n'optimise pas la quantité de données lues. L'utilisation de TableSchema et TableFieldSchema est pour la définition du schéma, pas pour l'optimisation des requêtes. Appliquer une transformation qui renvoie des objets TableRow est le comportement par défaut de la lecture BigQuery et ne résout pas le problème de la lecture excessive de données.