Je hebt drie taken (Dataflow transform->BigQuery, on-prem ingest->Cloud Storage, Dataflow third-party->Cloud Storage) die gepland, gemonitord en handmatig uitgevoerd moeten worden. Welke orchestratiebenadering gebruik je?

Cloud Composer, gebaseerd op Apache Airflow, is de meest geschikte orchestratietool voor dit scenario. Het maakt het mogelijk om complexe workflows (DAG's) te definiëren, te plannen, te monitoren en handmatig te triggeren, wat perfect aansluit bij de vereisten voor de drie genoemde taken. Stackdriver Monitoring is primair voor monitoring en alerting, niet voor het plannen of triggeren van taken. Een App Engine-applicatie zou te veel maatwerk vereisen voor orchestratiefunctionaliteit die Composer al biedt. Cron-taken op een Compute Engine-instantie zijn minder robuust en schaalbaar dan Composer, missen ingebouwde monitoring en herstelmogelijkheden, en zijn moeilijker te beheren voor complexe afhankelijkheden.