Sie benötigen eine verwaltete, tägliche Orchestrierungslösung für eine mehrstufige Pipeline, die Dataproc- und Dataflow-Jobs mit Abhängigkeiten ausführt. Welches Tool wählen Sie?

Cloud Composer ist die beste Wahl, da es eine vollständig verwaltete Workflow-Orchestrierungslösung ist, die auf Apache Airflow basiert. Es ermöglicht die Definition komplexer, mehrstufiger Pipelines (DAGs) mit Abhängigkeiten, die Dataproc- und Dataflow-Jobs umfassen können. Die tägliche Ausführung wird durch die Airflow-Scheduler-Funktionen nativ unterstützt. cron ist ein Linux-Dienst und bietet keine verwaltete Lösung für komplexe, verteilte Workflows mit Abhängigkeiten über verschiedene Google Cloud-Dienste hinweg. Cloud Scheduler ist ein verwalteter Cron-Dienst, der jedoch nur das Auslösen von Jobs zu bestimmten Zeiten ermöglicht, nicht aber die Orchestrierung komplexer Abhängigkeiten oder die Überwachung des Workflow-Status. Workflow Templates on Dataproc ist spezifisch für Dataproc-Workflows und kann keine Dataflow-Jobs oder die übergreifende Orchestrierung mit Abhängigkeiten verwalten.