Um pipeline de streaming do Dataflow foi otimizado automaticamente em uma única etapa mesclada e agora está apresentando atrasos no processamento. Como você localiza o gargalo do pipeline?

A inserção de uma operação Reshuffle após cada etapa de processamento força o Dataflow a materializar os dados naquele ponto, impedindo a fusão automática de etapas. Isso permite que você visualize o desempenho de cada etapa individualmente no console do Dataflow, identificando qual delas está causando o gargalo de processamento. As outras opções são menos eficazes: Inserir sinks de saída adiciona sobrecarga e não fornece visibilidade direta sobre o tempo de processamento interno de cada etapa. Registrar informações de depuração pode gerar um volume excessivo de logs e é mais adequado para depuração lógica, não para identificar gargalos de desempenho em pipelines otimizados. Verificar permissões é uma etapa de solução de problemas para falhas de gravação, não para atrasos de processamento em um pipeline já em execução.