Een streaming Dataflow-pipeline is automatisch geoptimaliseerd tot één samengevoegde stap en vertoont nu verwerkingsvertragingen. Hoe spoor je het knelpunt in de pipeline op?

De correcte optie is het toevoegen van een Reshuffle-operatie. Reshuffle voorkomt dat Dataflow stappen samenvoegt (fusion) en forceert een materialisatiepunt, waardoor elke stap afzonderlijk wordt uitgevoerd. Dit maakt het mogelijk om in de Dataflow-console de verwerkingsstatistieken (zoals elementen per seconde, CPU-gebruik) voor elke individuele stap te bekijken en zo het knelpunt te identificeren. Het toevoegen van output sinks is inefficiënt en kan zelf een knelpunt veroorzaken, en geeft geen directe inzage in de verwerkingstijden binnen de pipeline. Debug-informatie loggen is nuttig voor functionele fouten, maar minder effectief voor het opsporen van prestatieknelpunten op schaal. Controle van service account rechten is belangrijk voor autorisatieproblemen, niet voor verwerkingsvertragingen door knelpunten in de pipeline-logica.