Você criou uma receita do Dataprep em uma amostra do BigQuery e precisa executá-la diariamente após um trabalho de carregamento com tempo de conclusão variável. Como você automatiza e orquestra isso?

A opção correta é exportar o job do Dataprep como um template do Dataflow e incorporá-lo em um job do Composer. O Dataprep, por si só, não oferece agendamento flexível para jobs dependentes de outros eventos. O Cloud Composer (Apache Airflow) é a ferramenta ideal para orquestração de fluxos de trabalho complexos, permitindo definir dependências, gatilhos e agendamentos dinâmicos. Ao exportar a receita do Dataprep como um template do Dataflow, você a torna executável programaticamente dentro de um DAG do Composer, que pode ser configurado para rodar após a conclusão do job de carregamento do BigQuery. As outras opções estão incorretas porque: Criar um agendamento cron no Dataprep não permite a dependência do tempo de conclusão variável do job de carregamento. Um cron job do App Engine poderia agendar, mas não oferece a robustez e a capacidade de orquestração de dependências do Composer. Exportar como template do Dataprep e usar o Cloud Scheduler não permite a orquestração de dependências complexas.