Je hebt een efficiënte, onderhoudbare workflow nodig om honderden tabellen te verwerken: bestanden komen onvoorspelbaar binnen in Cloud Storage, Dataproc transformeert en schrijft naar BigQuery, waarna tabel-specifieke BigQuery-transformaties worden uitgevoerd (dit kan uren duren). Welk workflowontwerp is het beste?

De correcte optie is het beste omdat het een robuuste, event-driven architectuur biedt. Het gebruik van een Cloud Storage-objecttrigger met een Cloud Function zorgt ervoor dat de workflow alleen start wanneer er nieuwe bestanden binnenkomen, wat efficiënt is voor onvoorspelbare aankomsten. Een aparte DAG per tabel verhoogt de onderhoudbaarheid en isolatie; als één tabel-specifieke transformatie faalt, heeft dit geen invloed op andere tabellen. De Dataproc- en BigQuery-operators in Airflow zijn geschikt voor de transformatiestappen. De andere opties zijn minder optimaal: Het uurlijks inplannen van DAG's (opties 1 en 2) is inefficiënt voor onvoorspelbare data-aankomsten, omdat de DAG vaak onnodig zou draaien. Eén gedeelde DAG voor alle tabellen (opties 1 en 3) maakt de workflow complex en moeilijk te onderhouden, en een fout in één tabel kan de verwerking van alle andere tabellen beïnvloeden.