Sie haben eine komplexe Cross-Cloud-Datenpipeline, die Dienste von mehreren Cloud-Anbietern nutzt. Welchen Cloud-nativen Dienst sollten Sie verwenden, um die gesamte Pipeline zu orchestrieren?

Cloud Composer ist die richtige Wahl, da es ein vollständig verwalteter Workflow-Orchestrierungsdienst ist, der auf Apache Airflow basiert. Airflow ist ideal für die Orchestrierung komplexer Workflows, die über mehrere Cloud-Anbieter hinweg laufen, da es die Definition, Planung und Überwachung von Workflows als gerichtete azyklische Graphen (DAGs) ermöglicht. Dies macht es perfekt für Cross-Cloud-Pipelines. Cloud Dataflow ist ein Dienst zur Datenverarbeitung und -transformation, nicht zur Orchestrierung. Cloud Dataprep dient der visuellen Datenaufbereitung und -bereinigung. Cloud Dataproc ist ein verwalteter Dienst für Apache Spark und Hadoop, der für die Ausführung großer Datenverarbeitungsworkloads konzipiert ist, aber keine übergreifende Orchestrierung bietet.