Cloud Dataproc üzerinde birden çok zamanlanmış Spark işi çalıştırıyorsunuz; bazı işler sıralı, bazıları ise eş zamanlı çalışıyor. Bu işleri otomatikleştirmek ve düzenlemek istiyorsunuz. Ne kullanmalısınız?

Birden çok, sıralı ve eş zamanlı Spark işini otomatikleştirmek ve düzenlemek için Cloud Composer en uygun çözümdür. Cloud Composer, Apache Airflow tabanlı yönetilen bir hizmettir ve iş akışlarını (DAG'ler - Yönlendirilmiş Döngüsel Olmayan Grafikler) tanımlamanıza, zamanlamanıza ve izlemenize olanak tanır. Bu sayede karmaşık bağımlılıkları olan işleri kolayca yönetebilirsiniz. Cloud Dataproc Workflow Template, tek bir iş akışını otomatikleştirmek için kullanışlıdır ancak farklı bağımlılıkları olan birden çok işi düzenlemek için Cloud Composer'ın esnekliğini sunmaz. Initialization action'lar, küme başlatılırken çalışan betiklerdir ve iş akışı düzenlemesi için tasarlanmamıştır. Bash betiği yazmak, manuel bir yaklaşımdır ve hata yönetimi, izleme ve ölçeklenebilirlik gibi konularda Cloud Composer'ın sunduğu avantajları sağlamaz.