Çok sayıda shuffle içeren bir Dataproc Spark işi, her biri ~200–400 MB boyutunda parquet dosyalarını okur ve yalnızca iki adet preemptible olmayan düğüme sahip preemptible çalışanlar üzerinde çalışır. Performansı uygun maliyetle iyileştirmek için hangi değişikliği yapmalısınız?

Doğru cevap, HDD'lerden SSD'lere geçmek ve önyükleme diski boyutunu artırmak için preemptible VM'ler yapılandırmasını geçersiz kılmaktır. Yoğun shuffle içeren Spark işlerinde, disk G/Ç performansı kritik öneme sahiptir. SSD'ler, HDD'lere göre çok daha hızlı G/Ç performansı sunarak shuffle aşamasındaki veri okuma ve yazma işlemlerini hızlandırır. Ayrıca, önyükleme diski boyutunu artırmak, Spark'ın ara verileri depolaması için daha fazla alan sağlayarak disk taşmalarını azaltabilir ve genel performansı iyileştirebilir. Diğer seçenekler neden yanlış: Parquet dosyalarının boyutunu artırmak (1 GB'a), çok sayıda küçük dosya sorununu çözse de, G/Ç performansını doğrudan iyileştirmez ve shuffle yoğun işlerde SSD'lerin sağladığı avantajı sunmaz. TFRecords formatına geçmek, veri formatı değişikliği olup G/Ç performansını doğrudan etkilemez ve shuffle performansını iyileştirmez. Verileri HDFS'ye kopyalamak ve geri GCS'ye kopyalamak, ek bir G/Ç adımı ekleyerek performansı düşürebilir ve karmaşıklığı artırır. Ayrıca, HDFS'nin kendisi disk G/Ç performansını doğrudan iyileştirmez; temel donanım (HDD yerine SSD) daha etkilidir.