Tworzysz recepturę Dataprep na próbce BigQuery i musisz ją uruchamiać codziennie po zadaniu ładowania o zmiennym czasie ukończenia. Jak zautomatyzować i zorganizować ten proces?

Prawidłowa odpowiedź to eksportowanie zadania Dataprep jako szablonu Dataflow i włączenie go do zadania Composer. Dataprep jest narzędziem do eksploracji i przygotowywania danych, ale nie oferuje zaawansowanych funkcji orkiestracji, takich jak dynamiczne zależności czasowe. Eksportowanie receptury Dataprep jako szablonu Dataflow umożliwia uruchomienie jej jako zadania Dataflow. Apache Composer (zarządzany Airflow) jest idealnym narzędziem do orkiestracji złożonych przepływów pracy, w tym zadań Dataflow, i pozwala na definiowanie zależności między zadaniami, co jest kluczowe w przypadku zmiennego czasu ukończenia poprzedniego zadania. Pozostałe opcje są nieprawidłowe: Harmonogram cron w Dataprep nie obsługuje zależności od zmiennego czasu ukończenia poprzedniego zadania. Zadanie cron App Engine również nie zapewnia orkiestracji opartej na zależnościach. Eksportowanie receptury jako szablonu Dataprep i użycie Cloud Scheduler nie pozwala na elastyczne zarządzanie zależnościami między zadaniami.