Masz złożony potok danych cross-cloud, który wykorzystuje usługi wielu dostawców chmury. Której natywnej usługi chmurowej należy użyć do orkiestracji całego potoku?

Cloud Composer to zarządzana usługa Apache Airflow, która doskonale nadaje się do orkiestracji złożonych potoków danych, zwłaszcza tych obejmujących wiele środowisk, w tym cross-cloud. Umożliwia definiowanie, planowanie i monitorowanie potoków jako grafów acyklicznych (DAGs) w Pythonie. Cloud Dataflow jest usługą do przetwarzania danych strumieniowych i wsadowych, a nie do orkiestracji. Cloud Dataprep służy do wizualnego przygotowywania danych, a Cloud Dataproc to zarządzana usługa Apache Spark i Hadoop, przeznaczona do przetwarzania dużych zbiorów danych. Żadna z tych usług nie oferuje kompleksowych możliwości orkiestracji potoków cross-cloud w taki sposób jak Cloud Composer.