Ha creado una receta de Dataprep en una muestra de BigQuery y necesita ejecutarla diariamente después de un trabajo de carga con un tiempo de finalización variable. ¿Cómo automatiza y orquesta esto?

La opción correcta es exportar el trabajo de Dataprep como una plantilla de Dataflow e incorporarlo a un trabajo de Composer. Esto se debe a que Composer (basado en Apache Airflow) es una herramienta de orquestación de flujos de trabajo que permite programar, monitorear y gestionar flujos de trabajo complejos y dependientes, lo cual es ideal para un trabajo que debe ejecutarse después de otro con un tiempo de finalización variable. Las plantillas de Dataflow permiten ejecutar trabajos de Dataprep de forma programática. Las otras opciones son incorrectas porque: Crear una programación cron en Dataprep no permite la orquestación basada en la finalización de otro trabajo. Un trabajo cron de App Engine podría programar la ejecución, pero no ofrece la capacidad de orquestación y gestión de dependencias de Composer. Exportar la receta como una plantilla de Dataprep y crear un trabajo en Cloud Scheduler no proporciona la flexibilidad necesaria para esperar la finalización de un trabajo anterior.