Um job de streaming do Dataflow (Streaming Engine, autoscaling horizontal, max_workers=1000) que lê notificações do Pub/Sub do GCS emite um elemento por linha CSV. O job está usando apenas 10 workers e o autoscaler não está adicionando mais. Como você melhora o paralelismo e permite que o autoscaler escale?

A opção correta é "Altere o código do pipeline para adicionar uma etapa Reshuffle para quebrar a fusão". O Dataflow usa a otimização de fusão para combinar várias etapas em uma única etapa, o que pode reduzir o paralelismo se a etapa fundida se tornar um gargalo. Adicionar um Reshuffle força o Dataflow a quebrar a fusão, permitindo que o autoscaler distribua o trabalho por mais workers. Habilitar o Vertical Autoscaling ou usar o Dataflow Prime com Right Fitting pode aumentar a capacidade dos workers existentes, mas não resolverá o problema de paralelismo se o pipeline estiver limitado pela fusão de etapas. Aumentar o número máximo de workers do job não terá efeito se o autoscaler não estiver adicionando mais workers devido à fusão.