Zaimplementuj zaplanowane zadania wsadowe z wieloma współzależnymi krokami (skrypty shell, zadania Hadoop, zapytania BigQuery), długim czasem działania i ustaloną liczbą ponownych prób. Która usługa powinna orkiestrować i zarządzać tymi przepływami pracy?

Cloud Composer to w pełni zarządzana usługa Apache Airflow, która doskonale nadaje się do orkiestracji złożonych potoków danych z wieloma współzależnymi krokami, obejmującymi różne technologie (skrypty shell, Hadoop, BigQuery). Umożliwia definiowanie przepływów pracy jako DAG-ów (Directed Acyclic Graphs), zarządzanie zależnościami, planowanie zadań, monitorowanie ich wykonania oraz konfigurację ponownych prób w przypadku awarii. Cloud Scheduler jest przeznaczony do prostego planowania pojedynczych zadań, a nie do orkiestracji złożonych przepływów pracy. Cloud Dataflow służy do przetwarzania danych wsadowych i strumieniowych, a nie do orkiestracji. Cloud Functions to bezserwerowa platforma do wykonywania pojedynczych funkcji w odpowiedzi na zdarzenia, nie jest przeznaczona do zarządzania długotrwałymi, wieloetapowymi potokami.