GCS から Pub/Sub 通知を読み取るストリーミング Dataflow ジョブ（Streaming Engine、水平オートスケーリング、max_workers=1000）が、CSV の行ごとに 1 つの要素を出力しています。ジョブは 10 個のワーカーしか使用しておらず、オートスケーラーはそれ以上追加していません。並列処理を改善し、オートスケーラーがスケールするようにするにはどうすればよいですか？

Dataflowのオートスケーラーがワーカーを追加しないのは、パイプラインが並列処理できない状態にあるためです。この場合、GCSからの読み込みが単一のソースでフュージョンされている可能性があります。Reshuffle ステップを追加すると、要素がシャッフルされ、フュージョンが解除されます。これにより、Dataflowはパイプラインの後のステップをより多くのワーカーに分散できるようになり、並列処理が改善され、オートスケーラーがワーカーを追加するようになります。垂直オートスケーリングはワーカーのサイズを大きくするもので、並列処理の問題を解決しません。最大ワーカー数を増やしても、並列処理ができない限りワーカーは追加されません。Dataflow PrimeのRight Fittingはリソースの最適化ですが、根本的な並列処理の問題を解決するものではありません。