GCS의 Pub/Sub 알림을 읽는 스트리밍 Dataflow 작업(스트리밍 엔진, 수평 자동 확장, max_workers=1000)이 CSV 라인당 하나의 요소를 내보냅니다. 작업은 10개의 워커만 사용하고 있으며 자동 스케일러는 더 추가하지 않고 있습니다. 병렬 처리를 개선하고 자동 스케일러가 확장되도록 하려면 어떻게 해야 합니까?

Dataflow는 기본적으로 파이프라인 단계를 퓨전(fusion)하여 최적화합니다. 이는 효율적이지만, 특정 상황에서는 병렬 처리를 제한할 수 있습니다. 현재 작업이 10개의 워커만 사용하고 자동 스케일러가 더 이상 확장되지 않는 것은 퓨전된 단계가 처리량 병목 현상을 일으켜 Dataflow가 더 많은 워커를 추가할 필요가 없다고 판단하기 때문일 수 있습니다. Reshuffle 단계는 퓨전을 의도적으로 깨뜨려 Dataflow가 더 많은 병렬 처리를 위해 작업을 더 작은 조각으로 분할하고, 이에 따라 자동 스케일러가 추가 워커를 프로비저닝하도록 유도합니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. 더 큰 워커 VM을 사용한 수직 자동 확장은 현재 워커 수가 적은 문제를 해결하지 못합니다. 작업의 최대 워커 수를 늘리는 것은 자동 스케일러가 이미 현재 제한에 도달하지 않았기 때문에 효과가 없습니다. Dataflow Prime과 Right Fitting은 리소스 최적화에