Sie müssen Anwendungsereignisse aus einem Pub/Sub-Thema in disjunkten stündlichen Intervallen aggregieren und die Ergebnisse in großem Maßstab in BigQuery laden. Welche Verarbeitungsarchitektur sollten Sie verwenden?

Die korrekte Antwort ist die Ausführung eines Streaming-Dataflow-Jobs, der kontinuierlich von Pub/Sub liest und mithilfe von Tumbling-Fenstern (stündlich) aggregiert. Dies ist die effizienteste und skalierbarste Lösung für die kontinuierliche Verarbeitung von Ereignissen in Echtzeit mit stündlichen Aggregationen. Streaming Dataflow ist für diese Art von Aufgaben konzipiert und bietet integrierte Unterstützung für Fensterfunktionen und die Ausgabe an BigQuery. Eine Cloud Function, die bei jeder Nachricht ausgelöst wird, wäre für die Aggregation in stündlichen Intervallen ungeeignet, da sie jede Nachricht einzeln verarbeitet und keine einfache Möglichkeit bietet, stündliche Aggregationen über viele Nachrichten hinweg durchzuführen. Eine stündlich geplante Cloud Function, die alle Nachrichten abruft, wäre ineffizient und könnte bei großen Datenmengen zu Timeouts führen, da sie nicht für die Verarbeitung großer Batches optimiert ist. Ein stündlicher Batch-Dataflow-Job wäre zwar möglich, aber weniger effizient als ein Streaming-Job, da er die Daten nicht kontinuierlich verarbeitet, sondern in diskreten Batches, was zu höheren Latenzzeiten und möglicherweise höheren Kosten führen kann, wenn die Daten kontinuierlich ankommen.