Sie benötigen einen effizienten, wartbaren Workflow zur Verarbeitung Hunderter von Tabellen: Dateien landen unvorhersehbar in Cloud Storage, Dataproc transformiert und schreibt in BigQuery, dann laufen tabellenspezifische BigQuery-Transformationen (kann Stunden dauern). Welches Workflow-Design ist am besten?

Die korrekte Option bietet die beste Kombination aus Effizienz, Wartbarkeit und Reaktivität. Cloud Composer (Airflow) ist ideal für komplexe, mehrstufige Workflows. Ein separater DAG pro Tabelle ermöglicht eine unabhängige Entwicklung, Fehlerbehebung und Skalierung, was bei Hunderten von Tabellen entscheidend für die Wartbarkeit ist. Die Verwendung eines Cloud Storage-Objekt-Triggers in Verbindung mit einer Cloud Function stellt sicher, dass der Workflow nur dann ausgelöst wird, wenn neue Daten eintreffen, was Ressourcen spart und eine ereignisgesteuerte Verarbeitung ermöglicht. Die anderen Optionen sind weniger geeignet: Ein einziger gemeinsamer DAG für alle Tabellen wäre schwer zu warten und zu debuggen, insbesondere wenn tabellenspezifische BigQuery-Transformationen Stunden dauern können. Änderungen an einer Tabelle könnten den gesamten Workflow beeinflussen. Eine stündliche Planung ist ineffizient, da Dateien unvorhersehbar landen und die Verarbeitung nur bei Bedarf erfolgen sollte. Das Fehlen eines Cloud Storage-Objekt-Triggers würde bedeuten, dass der Workflow entweder ständig läuft (ineffizient) oder manuell ausgelöst werden muss.