Een Dataflow-pipeline in europe-west4 met maximaal 3 n1-standard-1 workers die Pub/Sub lezen en naar BigQuery EU schrijven, is CPU-gebonden tijdens piekbelasting. Welke twee wijzigingen verhogen de doorvoer van de pipeline?

De pipeline is CPU-gebonden, wat betekent dat de huidige workers de verwerkingscapaciteit missen om de piekbelasting aan te kunnen. Het verhogen van het maximale aantal workers (horizontale schaling) voegt meer rekenkracht toe, waardoor meer taken parallel kunnen worden verwerkt. Het gebruik van een groter machinetype (verticale schaling) geeft elke worker meer CPU-resources, wat ook de verwerkingscapaciteit per worker verhoogt. Beide strategieën pakken de CPU-beperking aan en verhogen de doorvoer. Het verplaatsen van de pipeline naar us-central1 lost het CPU-probleem niet op en kan zelfs latentie introduceren bij het schrijven naar BigQuery EU. Het toevoegen van Bigtable of Cloud Spanner als buffer introduceert extra complexiteit en overhead, en lost de onderliggende CPU-beperking van de Dataflow-pipeline niet direct op.