GCS'ten Pub/Sub bildirimlerini okuyan bir akışlı Dataflow işi (Streaming Engine, yatay otomatik ölçeklendirme, max_workers=1000) her CSV satırı için bir öğe yayar. İş yalnızca 10 worker kullanıyor ve otomatik ölçekleyici daha fazla worker eklemiyor. Paralelliği nasıl artırır ve otomatik ölçekleyicinin ölçeklenmesini sağlarsınız?

Dataflow'da, birleştirme (fusion) optimizasyonu, birden çok dönüşümü tek bir adımda birleştirerek performansı artırır ancak bazen paralelliği kısıtlayabilir. İşin yalnızca 10 worker kullanması ve daha fazla worker eklememesi, muhtemelen birleştirme nedeniyle Dataflow'un daha fazla paralellik sağlayacak fırsatları görememesinden kaynaklanmaktadır. Bir Reshuffle adımı eklemek, birleştirmeyi bozar ve Dataflow'un verileri yeniden dağıtarak daha fazla worker kullanmasına ve yatay otomatik ölçeklendirmenin devreye girmesine olanak tanır. Dikey otomatik ölçeklendirme, daha büyük VM'ler kullanır ancak worker sayısını artırmaz. Maksimum worker sayısını artırmak, mevcut worker sayısını doğrudan etkilemez. Dataflow Prime ve Right Fitting, kaynak optimizasyonu sağlar ancak temel paralellik sorununu çözmez.