Üç adet işiniz (Dataflow transform->BigQuery, on-prem ingest->Cloud Storage, Dataflow third-party->Cloud Storage) var ve bunlar zamanlama, izleme ve manuel çalıştırma gerektiriyor. Hangi orkestrasyon yaklaşımını kullanırsınız?

Verilen senaryoda üç farklı veri işleme işi (Dataflow, on-prem ingest) bulunmaktadır ve bunlar zamanlama, izleme ve manuel çalıştırma gereksinimlerine sahiptir. Cloud Composer (Apache Airflow tabanlı), bu tür karmaşık iş akışlarını yönetmek için tasarlanmış yönetilen bir orkestrasyon hizmetidir. DAG'ler (Direct Acyclic Graphs) kullanarak işlerin bağımlılıklarını, zamanlamalarını ve sıralamalarını tanımlayabilir, ayrıca işlerin durumunu izleyebilir ve manuel olarak tetikleyebilirsiniz. Diğer seçenekler neden uygun değil: Stackdriver Monitoring, işleri izlemek için faydalı olsa da, işlerin zamanlanması veya manuel olarak tetiklenmesi için bir orkestrasyon aracı değildir. Webhook bildirimi yalnızca bir tetikleyici görevi görür. App Engine uygulaması geliştirmek, orkestrasyon mantığını sıfırdan kodlamayı gerektirir ve Cloud Composer'ın sunduğu hazır özellik ve yönetilebilirlikten yoksundur. Compute Engine üzerinde cron işleri kurmak, işleri zamanlamak için kullanılabilir ancak bağımlılık yönetimi, izleme, hata işleme ve ölçeklenebilirlik gibi konularda Cloud Composer kadar kapsamlı ve yönetilebilir bir çözüm sunmaz.