Sie haben ein Dataprep-Rezept für ein BigQuery-Beispiel erstellt und müssen es täglich nach einem Ladejob mit variabler Abschlusszeit ausführen. Wie automatisieren und orchestrieren Sie dies?

Die korrekte Antwort ist die Integration des Dataprep-Jobs als Dataflow-Vorlage in einen Composer-Job. Dataprep-Jobs werden intern als Dataflow-Jobs ausgeführt. Durch den Export als Dataflow-Vorlage kann dieser Job flexibel in Composer orchestriert werden. Composer (Apache Airflow) ist ideal für komplexe Workflows mit variablen Abhängigkeiten, da er die Ausführung nach Abschluss eines Ladejobs steuern kann, auch wenn dessen Zeitpunkt variiert. Ein Cron-Zeitplan in Dataprep oder App Engine Cron-Jobs sind für feste Zeitpläne geeignet, aber nicht für variable Abschlusszeiten. Das Exportieren als Dataprep-Vorlage und die Verwendung von Cloud Scheduler würde ebenfalls einen festen Zeitplan erfordern oder müsste manuell ausgelöst werden, was die Automatisierung bei variablen Zeiten erschwert.