Strumieniowe zadanie Dataflow (Streaming Engine, automatyczne skalowanie poziome, max_workers=1000) odczytujące powiadomienia Pub/Sub z GCS emituje jeden element na linię CSV. Zadanie używa tylko 10 workerów, a autoskaler nie dodaje więcej. Jak poprawić równoległość i pozwolić autoskalerowi na skalowanie?

Zadanie Dataflow używa tylko 10 workerów, ponieważ prawdopodobnie występuje fuzja (fusion) operacji, co ogranicza równoległość. Fuzja łączy wiele transformacji w jeden etap, aby zminimalizować narzut, ale może uniemożliwić autoskalerowi dodawanie workerów, jeśli wąskie gardło znajduje się w jednej połączonej transformacji. Dodanie kroku Reshuffle (lub innej transformacji wymagającej pełnego przetasowania danych, np. GroupByKey) sztucznie przerywa fuzję, zmuszając Dataflow do materializacji pośrednich wyników i umożliwiając autoskalerowi zwiększenie liczby workerów dla kolejnych etapów. Automatyczne skalowanie pionowe (vertical autoscaling) zwiększa zasoby istniejących workerów, ale nie zwiększa ich liczby. Zwiększenie maxworkers nie pomoże, jeśli fuzja uniemożliwia ich użycie. Dataflow Prime i Right Fitting optymalizują wykorzystanie zasobów, ale nie rozwiązują problemu fuzji ograniczającej równoległość.