Пайплайн Dataflow в регионе europe-west4 с максимум 3 рабочими n1-standard-1, читающий из Pub/Sub и записывающий в BigQuery EU, достигает пиковой нагрузки на ЦП. Какие два изменения увеличат пропускную способность пайплайна?

Пайплайн Dataflow, испытывающий пиковую нагрузку на ЦП, указывает на то, что текущие вычислительные ресурсы недостаточны для обработки объема данных. Увеличение максимального количества рабочих узлов позволяет Dataflow автоматически масштабировать количество рабочих процессов, распределяя нагрузку и увеличивая пропускную способность. Использование более мощного типа машины для рабочих узлов (например, с большим количеством ядер ЦП или памяти) также напрямую увеличивает вычислительную мощность каждого рабочего узла, позволяя ему обрабатывать больше данных за единицу времени. Перенос пайплайна в другой регион не решит проблему нехватки ресурсов ЦП. Использование промежуточных буферов, таких как Bigtable или Cloud Spanner, усложняет архитектуру и не устраняет основную причину низкой пропускной способности пайплайна Dataflow, а лишь переносит проблему или добавляет задержку.