Вы создали рецепт Dataprep на основе выборки BigQuery, и вам нужно запускать его ежедневно после задания загрузки с переменным временем завершения. Как автоматизировать и оркестрировать это?

Правильный ответ — экспортировать задание Dataprep как шаблон Dataflow и включить его в задание Composer. Dataprep позволяет экспортировать рецепты в виде шаблонов Dataflow, что делает их пригодными для оркестровки с помощью Cloud Composer (управляемого Apache Airflow). Composer идеально подходит для планирования и оркестровки сложных рабочих процессов, зависящих от времени завершения предыдущих заданий, таких как загрузка данных. Создание расписания cron в Dataprep или App Engine не обеспечит необходимой гибкости и возможностей оркестровки, особенно когда время завершения предыдущего задания является переменным. Экспорт рецепта как шаблона Dataprep и создание задания в Cloud Scheduler также не даст такой же степени контроля и интеграции с другими сервисами GCP, как Composer.