Birçok bağımlı adımı (shell script'leri, Hadoop işleri, BigQuery sorguları), uzun çalışma süreleri ve sabit yeniden deneme sayıları olan zamanlanmış toplu işleri uygulayın. Bu iş akışlarını hangi hizmet düzenlemeli ve yönetmelidir?

Cloud Composer, Apache Airflow tabanlı yönetilen bir hizmettir ve karmaşık iş akışlarını (DAG'ler) programlı olarak yazmanıza, zamanlamanıza ve izlemenize olanak tanır. Shell script'leri, Hadoop işleri ve BigQuery sorguları gibi bağımlı adımları olan, uzun süreli ve belirli yeniden deneme sayılarına sahip toplu işler için idealdir. Airflow'un zengin operatörleri ve sensörleri sayesinde bu tür iş akışları kolayca tanımlanabilir ve yönetilebilir. Diğer seçenekler: Cloud Scheduler, basit, tek seferlik veya tekrarlayan görevleri zamanlamak için kullanılır ancak karmaşık iş akışı bağımlılıklarını yönetemez. Cloud Dataflow, büyük ölçekli veri işleme (toplu ve akış) için tasarlanmıştır, ancak iş akışı orkestrasyonu birincil işlevi değildir. Cloud Functions, sunucusuz, olay odaklı işlevleri çalıştırmak için kullanılır ve uzun süreli, bağımlı toplu iş akışları için uygun değildir.