Je hebt een Dataprep-recept gemaakt op een BigQuery-sample en moet dit dagelijks uitvoeren na een laadtaak met een variabele voltooiingstijd. Hoe automatiseer en orkestreer je dit?

De correcte aanpak is om de Dataprep-taak te exporteren als een Dataflow-sjabloon en deze op te nemen in een Composer-taak. Dataprep-recepten worden intern omgezet naar Dataflow-jobs, en door ze als sjabloon te exporteren, kunnen ze onafhankelijk worden uitgevoerd. Composer (gebaseerd op Apache Airflow) is een krachtig orkestratieplatform dat afhankelijkheden tussen taken kan beheren, inclusief de variabele voltooiingstijd van de laadtaak. Je kunt een DAG (Directed Acyclic Graph) in Composer definiëren die eerst de laadtaak uitvoert en daarna, na voltooiing, de Dataflow-sjabloon van Dataprep start. Een cron-schema in Dataprep is niet geschikt omdat het geen rekening houdt met de variabele voltooiingstijd van de voorgaande laadtaak. Een App Engine cron-taak biedt wel scheduling, maar mist de robuuste orkestratiemogelijkheden en ingebouwde integraties van Composer voor data-pipelines. Het exporteren als een Dataprep-sjabloon en plannen via Cloud Scheduler biedt wel scheduling, maar mist de flexibiliteit van Composer om afhankelijkheden tussen taken te beheren.