一個串流 Dataflow pipeline 被自動優化成單一合併步驟，現在卻出現處理延遲。您要如何找出 pipeline 的瓶頸？

當 Dataflow pipeline 被自動優化為單一合併步驟時，處理延遲通常表示該合併步驟中存在瓶頸。插入 Reshuffle 操作可以強制 Dataflow 執行器在每個 Reshuffle 點之間進行資料洗牌，有效地將單一合併步驟拆分為多個獨立的執行階段。這樣做會阻止 Dataflow 將這些步驟合併，讓您可以在 Dataflow console 的執行詳細資訊中，獨立監控每個階段的資源使用情況（如 CPU、記憶體）和處理時間。透過觀察哪個階段在 Reshuffle 之後顯示出高延遲或資源利用率，您可以精確定位瓶頸。 其他選項： 插入 output sink 會增加 I/O 開銷，且無法直接揭示內部處理瓶頸。 在 ParDo 函數中記錄偵錯資訊會產生大量日誌，難以分析，且可能影響效能。 驗證服務帳戶權限是關於寫入問題，而非處理延遲。