Potok strumieniowy Dataflow został automatycznie zoptymalizowany w jeden połączony krok i obecnie wykazuje opóźnienia w przetwarzaniu. Jak zlokalizować wąskie gardło potoku?

Wstawienie operacji Reshuffle po każdym kroku przetwarzania jest skutecznym sposobem na zlokalizowanie wąskiego gardła. Reshuffle zapobiega łączeniu kroków przez Dataflow, co pozwala na dokładniejsze monitorowanie wydajności każdego pojedynczego etapu w interfejsie użytkownika Dataflow. Dzięki temu można zidentyfikować, który konkretny krok jest przyczyną opóźnień. Monitorowanie szczegółów wykonania w konsoli Dataflow (np. metryk I/O, CPU, pamięci) dla każdego rozdzielonego kroku ujawni, gdzie zasoby są niewystarczające lub gdzie występuje nadmierne obciążenie. Pozostałe opcje są mniej efektywne: Wstawianie ujść wyjściowych po każdym kroku i obserwowanie przepustowości zapisu może wskazać problemy z zapisem, ale niekoniecznie z przetwarzaniem wewnętrznym. Logowanie informacji debugowania w funkcjach ParDo i analizowanie logów jest pracochłonne i może nie dostarczyć kompleksowego obrazu wydajności całego potoku. Sprawdzanie uprawnień kont usług jest podstawową kontrolą, ale nie pomoże zdiagnozować problemów z wydajnością przetwarzania, jeśli uprawnienia są poprawne.