Potok Dataflow w regionie europe-west4 z maksymalnie 3 workerami n1-standard-1, odczytujący dane z Pub/Sub i zapisujący je do BigQuery EU, osiąga szczytowe obciążenie procesora. Które dwie zmiany zwiększą przepustowość potoku?

Zwiększenie maksymalnej liczby workerów pozwala Dataflow na automatyczne skalowanie w górę, dodając więcej maszyn wirtualnych do przetwarzania danych, co bezpośrednio zwiększa równoległość i przepustowość, gdy potok osiąga szczytowe obciążenie procesora. Użycie większego typu maszyny dla workerów Dataflow (np. n1-standard-4 zamiast n1-standard-1) zapewnia każdemu workerowi więcej zasobów procesora i pamięci, umożliwiając mu przetwarzanie większej ilości danych na jednostkę czasu, co również zwiększa ogólną przepustowość potoku. Przeniesienie potoku do innej strefy nie zwiększy przepustowości, a wręcz może zwiększyć opóźnienia, ponieważ BigQuery jest w UE. Wstawienie pośrednich buforów, takich jak Bigtable czy Cloud Spanner, wprowadza dodatkową złożoność i opóźnienia, nie rozwiązując problemu niewystarczającej mocy obliczeniowej samego potoku Dataflow.