Gzipped metin dosyalarını alan bir Dataflow işi, verileri birleştirmek için SideInputs kullanır ve hataları bir dead-letter kuyruğuna yazar, ancak işin çalışma süresi beklenenden daha uzundur. İşlem hattını hızlandırmak için hangi değişiklik yapılmalıdır?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: SideInput yerine CoGroupByKey kullanın..
Neden bu cevap
Dataflow'da SideInput'lar, ana işlem hattındaki her öğe için tüm SideInput verilerinin kopyalanmasını gerektirebilir, bu da özellikle büyük SideInput'lar veya çok sayıda öğe işlenirken performansı düşürür. CoGroupByKey dönüşümü ise, ana PCollection ile diğer PCollection'ları (SideInput yerine) bir anahtar üzerinde birleştirerek daha verimli bir dağıtılmış birleştirme sağlar. Bu, veri kopyalama yükünü azaltır ve işleme süresini optimize eder. Girdi dosyalarını sıkıştırılmış Avro'ya dönüştürmek depolama ve okuma performansını artırsa da, birleştirme mantığının verimsizliğini doğrudan çözmez. Toplu iş boyutunu küçültmek genellikle performansı düşürür. Hata veren kayıtları yeniden denemek, işin çalışma süresini daha da uzatabilir.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez