Eine Streaming-Dataflow-Pipeline wurde automatisch zu einem einzigen zusammengeführten Schritt optimiert und weist nun Verarbeitungsverzögerungen auf. Wie lokalisieren Sie den Engpass der Pipeline?

Die korrekte Antwort ist, nach jedem Verarbeitungsschritt eine Reshuffle-Operation einzufügen und die Ausführungsdetails in der Dataflow-Konsole zu überwachen. Wenn Dataflow eine Pipeline optimiert und Schritte zusammenführt, kann dies die Sichtbarkeit einzelner Transformationsengpässe reduzieren. Eine Reshuffle-Operation (oder eine ähnliche Operation wie GroupByKey oder Combine.globally().withoutDefaults()) zwingt Dataflow, die Daten neu zu verteilen und einen Barrierepunkt in der Ausführungsgraph zu schaffen. Dies verhindert das Zusammenführen von Schritten über diesen Punkt hinaus und ermöglicht es Ihnen, die Verarbeitungszeiten und Engpässe für die einzelnen Schritte in der Dataflow-Konsole genauer zu identifizieren. Das Hinzufügen von Ausgabezielen nach jedem Schritt ist ineffizient und kann die Pipeline selbst verlangsamen, anstatt Engpässe zu identifizieren. Das Protokollieren von Debug-Informationen in jeder ParDo-Funktion generiert eine große Menge an Protokollen, die schwer zu analysieren sind und nicht direkt die Engpässe der Pipeline-Ausführung aufzeigen. Die Überprüfung der Berechtigungen der Dienstkonten ist zwar wichtig für den Pipeline-Betrieb, hat aber keinen direkten Bezug zur Lokalisierung von Verarbeitungsengpässen nach einer Optimierung.