Un pipeline Dataflow de streaming a été auto-optimisé en une seule étape fusionnée et présente maintenant des retards de traitement. Comment localiser le goulot d'étranglement du pipeline ?

L'auto-optimisation de Dataflow peut fusionner des étapes pour améliorer l'efficacité, mais cela peut masquer des goulots d'étranglement. L'insertion d'une opération Reshuffle (ou GroupByKey sans agrégation) après chaque étape clé force Dataflow à matérialiser les données à ce point, empêchant la fusion d'étapes. Cela permet d'isoler les performances de chaque étape individuelle. En surveillant les détails d'exécution dans la console Dataflow (par exemple, le temps de traitement, le nombre d'éléments, le temps de backpressure) pour chaque étape délimitée par un Reshuffle, vous pouvez identifier l'étape spécifique qui cause le retard. Les sinks de sortie après chaque étape (option B) sont inefficaces et peuvent introduire leurs propres goulots d'étranglement. L'enregistrement des informations de débogage (option C) est utile pour comprendre la logique, mais ne fournit pas une vue d'ensemble des performances du pipeline. La vérification des autorisations (option D) est une bonne pratique générale, mais n'aide pas à localiser un goulot d'étranglement de traitement interne au pipeline.