BigQuery のサンプルで Dataprep レシピを作成しました。完了時間が変動するロードジョブの後に、毎日実行する必要があります。これを自動化してオーケストレーションするにはどうすればよいですか？

DataprepジョブをDataflowテンプレートとしてエクスポートし、Cloud Composer（Apache Airflow）でオーケストレーションするのが、変動する完了時間を持つロードジョブの後に毎日実行する最も堅牢で柔軟な方法です。DataflowはDataprepの変換を実行し、Composerはワークフローのスケジュール、監視、依存関係の管理を可能にします。 Dataprepでcronスケジュールを作成するだけでは、前段のロードジョブの完了を待つことができません。App Engine cronジョブはカスタムコードが必要で、Dataprepジョブの実行を直接トリガーする柔軟性に欠けます。レシピをDataprepテンプレートとしてエクスポートし、Cloud Schedulerでジョブを作成する方法は、Dataprepジョブの直接的なスケジュールは可能ですが、前段のロードジョブの完了を待つような複雑なオーケストレーションにはComposerのようなツールが適しています。