Vous avez créé une recette Dataprep sur un échantillon BigQuery et devez l'exécuter quotidiennement après une tâche de chargement dont le temps d'achèvement est variable. Comment automatisez et orchestrez-vous cela ?

La bonne réponse est d'exporter la tâche Dataprep en tant que modèle Dataflow et de l'incorporer dans une tâche Composer. Dataprep permet d'exporter les recettes sous forme de modèles Dataflow, qui peuvent ensuite être exécutés et orchestrés par Apache Airflow (utilisé par Cloud Composer). Cloud Composer est idéal pour orchestrer des workflows complexes et dépendants, comme l'exécution quotidienne après une tâche de chargement à durée variable. Les autres options sont moins adaptées : Les planifications cron dans Dataprep sont pour des exécutions à intervalles fixes, pas pour des déclenchements basés sur la fin d'une autre tâche. Une tâche cron App Engine pourrait déclencher l'exécution, mais elle ne fournit pas l'orchestration et la gestion des dépendances robustes offertes par Composer. Exporter la recette en tant que modèle Dataprep et utiliser Cloud Scheduler ne permet pas non plus de gérer les dépendances de manière sophistiquée avec une tâche de chargement précédente.