Eine Dataflow-Pipeline in europe-west4 mit maximal 3 n1-standard-1 Workern, die Pub/Sub liest und in BigQuery EU schreibt, ist bei Spitzenlast CPU-gebunden. Welche zwei Änderungen erhöhen den Pipeline-Durchsatz?

Da die Pipeline CPU-gebunden ist, sind die aktuellen Ressourcen unzureichend, um die Spitzenlast zu bewältigen. Das Erhöhen der maximalen Anzahl der Worker ermöglicht Dataflow, mehr parallele Verarbeitungsinstanzen zu starten und somit die Gesamt-CPU-Kapazität zu erhöhen. Das Verwenden eines größeren Maschinentyps (z.B. n1-standard-4 anstelle von n1-standard-1) erhöht die CPU-Leistung jedes einzelnen Workers, was ebenfalls den Durchsatz steigert. Die Standortverschiebung nach us-central1 würde die Latenz zu BigQuery EU erhöhen und ist irrelevant für die CPU-Gebundenheit. Das Hinzufügen von Bigtable oder Cloud Spanner als Puffer würde die Architektur komplexer machen und die Latenz erhöhen, ohne direkt das CPU-Problem der Dataflow-Pipeline zu lösen.