Haftalık bir Dataproc Spark işi, 15 düğümlü bir kümede yaklaşık 30 dakika çalışır ve sonuçları BigQuery'ye yazar. Bu profile göre küme maliyetini nasıl optimize etmelisiniz?

Doğru cevap, Dataproc kümesi için preemptible virtual machines kullanmaktır. Haftalık olarak çalışan ve yaklaşık 30 dakika süren bu tür kısa süreli, hataya dayanıklı iş yükleri için preemptible VM'ler, standart VM'lere göre önemli ölçüde daha düşük maliyet sunar. İşin kesintiye uğrama olasılığı olsa da, 30 dakikalık bir iş için bu risk genellikle kabul edilebilir ve Dataproc, preemptible VM'lerin kesintiye uğraması durumunda işi yeniden deneme yeteneğine sahiptir. İş yükünü Cloud Dataflow'a geçirmek, maliyet optimizasyonu için doğrudan bir çözüm değildir; Dataproc zaten Spark işleri için uygun bir platformdur ve Dataflow'a geçiş ek geliştirme maliyetleri getirebilir. İşin daha hızlı tamamlanması için daha yüksek bellekli düğümler veya worker düğümlerine SSD'ler eklemek, işin süresini kısaltabilir ancak düğüm başına maliyeti artırarak toplam maliyeti optimize etmek yerine yükseltebilir. Bu seçenekler performans artışı sağlarken, maliyet optimizasyonu hedefine aykırıdır.