Disk G/Ç yoğunluklu bir Hadoop işi, ara veriler için Cloud Storage'ı kullandığında Dataproc üzerinde şirket içi fiziksel HDFS'ye kıyasla çok daha yavaş çalışıyor. Depolama ve işlemeyi ayırırken bu durumu nasıl düzeltirsiniz?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: Daha fazla persistent disk sağlayın ve bu işin ara verilerini yerel HDFS üzerinde tutun.
Neden bu cevap
Hadoop işleri genellikle ara verileri yerel olarak depolar. Cloud Storage'a yazma ve oradan okuma, özellikle disk G/Ç yoğun işlerde, yerel HDFS'ye kıyasla daha yüksek gecikme ve daha düşük bant genişliği nedeniyle önemli performans düşüşlerine neden olabilir. Daha fazla persistent disk sağlayıp ara verileri yerel HDFS'te tutarak, işin Cloud Storage'a bağımlılığı azalır ve yerel disklerin yüksek G/Ç performansından faydalanılır. Diğer seçenekler: RAM'i artırmak, işin ara verilerinin tamamını RAM'de tutamayacağı veya bu durumun maliyet etkin olmayacağı durumlarda yetersiz kalabilir. VM CPU çekirdeklerini artırmak, ağ bant genişliğini doğrudan artırmaz ve depolama G/Ç sorununu çözmez. Ekstra NIC'ler eklemek ve bağlantı birleştirmeyi kullanmak, Cloud Storage'a olan ağ verimini artırsa da, Cloud Storage'ın doğası gereği yerel disk G/Ç'den daha yüksek gecikme ve daha düşük performans sunması sorununu temelden çözmez.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez