europe-west4 리전에 최대 3개의 n1-standard-1 워커를 사용하는 Dataflow 파이프라인이 Pub/Sub에서 데이터를 읽어 BigQuery EU에 쓰고 있습니다. 이 파이프라인은 피크 시점에 CPU 사용량이 많습니다. 파이프라인 처리량을 늘리려면 다음 중 어떤 두 가지를 변경해야 할까요?

CPU 사용량이 많다는 것은 현재 워커들이 처리해야 할 작업에 비해 컴퓨팅 자원이 부족하다는 의미입니다. 1. 최대 워커 수를 늘립니다. Dataflow는 병렬 처리를 통해 처리량을 높이는 서비스입니다. 워커 수를 늘리면 더 많은 작업을 동시에 처리할 수 있어 전반적인 처리량이 증가합니다. 2. Dataflow 워커에 더 큰 머신 유형을 사용합니다. n1-standard-1은 비교적 작은 머신 유형입니다. CPU 사용량이 높다는 것은 각 워커가 더 많은 CPU 리소스를 필요로 한다는 의미이므로, 더 큰 머신 유형(예: n1-standard-4)을 사용하면 각 워커의 처리 능력이 향상되어 파이프라인의 처리량이 늘어납니다. Dataflow 파이프라인을 다른 리전으로 이동하는 것은 CPU 사용량 문제와 직접적인 관련이 없으며, Pub/Sub 및 BigQuery EU와 같은 리소스가 EU에 있으므로 리전 이동은 지연 시간을 증가시킬 수 있습니다. 중간 버퍼 테이블을 사용하는 것은 복잡성을 증가시키고 추가 비용을 발생시키며, 현재 CPU 병목 현상을 직접적으로 해결하지 못합니다.