Bir akış Dataflow işlem hattı tek bir birleştirilmiş adıma otomatik olarak optimize edildi ve şimdi işleme gecikmeleri yaşıyor. İşlem hattı darboğazını nasıl bulursunuz?

Doğru cevap, her işleme adımından sonra bir Reshuffle işlemi ekleyip Dataflow konsolundaki yürütme ayrıntılarını izlemektir. Reshuffle dönüşümü, bir Dataflow işlem hattında verilerin yeniden dağıtılmasını zorlar. Bu, işlem hattının birleştirilmiş adımlarının ayrılmasını sağlayarak, her bir adımın performansını ayrı ayrı gözlemlemenize ve darboğazın nerede oluştuğunu belirlemenize olanak tanır. Dataflow konsolu, her adımın gecikme ve işleme süreleri hakkında ayrıntılı metrikler sunar. Diğer seçenekler neden yanlış: Çıktı sink'leri eklemek, işlem hattının kendisini değiştirir ve gerçek darboğazı maskeleyebilir veya yeni darboğazlar yaratabilir. Hata ayıklama günlükleri, genellikle performans sorunlarından ziyade mantıksal hataları tespit etmek için kullanılır ve performans darboğazlarını doğrudan göstermez. İzin sorunları, genellikle işlem hattının tamamen başarısız olmasına neden olur, gecikmelere değil.