Je hebt een complexe cross-cloud datapipeline die services van meerdere cloudproviders gebruikt. Welke cloud-native service moet je gebruiken om de hele pipeline te orkestreren?

Cloud Composer is de juiste keuze omdat het een volledig beheerde Apache Airflow-service is. Airflow is een open-source platform voor het programmatisch creëren, plannen en monitoren van workflows. Het is uitermate geschikt voor het orkestreren van complexe datapipelines, inclusief die welke services van meerdere cloudproviders omvatten, dankzij de flexibele DAG-structuur en de vele ingebouwde operators. Cloud Dataflow is een service voor het uitvoeren van batch- en streaminggegevensverwerking en niet primair voor orkestratie. Cloud Dataprep is een service voor visuele gegevensvoorbereiding en -opschoning. Cloud Dataproc is een beheerde Spark- en Hadoop-service voor big data-verwerking. Hoewel deze services deel kunnen uitmaken van een datapipeline, zijn ze niet ontworpen om de gehele pipeline te orkestreren over verschillende cloudomgevingen heen.