Je moet applicatie-events aggregeren per afzonderlijke uurintervallen vanuit een Pub/Sub-onderwerp en de resultaten op grote schaal in BigQuery laden. Welke verwerkingsarchitectuur moet je gebruiken?

De juiste aanpak is een streaming Dataflow-taak die continu uit Pub/Sub leest en aggregeert met behulp van tumbling (uurlijkse) vensters. Dit is de meest efficiënte en schaalbare oplossing voor het aggregeren van grote volumes streaminggegevens per uur. Dataflow is ontworpen voor grootschalige, continue gegevensverwerking en ondersteunt vensterfuncties (zoals tumbling windows) om gegevens over vaste tijdsintervallen te aggregeren. Een Cloud Function per Pub/Sub-bericht is niet schaalbaar voor grote volumes en kan leiden tot hoge kosten en complexiteit bij het beheren van aggregaties over tijd. Een geplande Cloud Function die elk uur berichten ophaalt, mist de real-time verwerking en kan berichten missen of vertragingen introduceren. Een geplande batch Dataflow-taak is geschikt voor periodieke batchverwerking, maar niet voor continue aggregatie van streaminggegevens per uur, wat leidt tot hogere latentie en minder efficiëntie dan een streaming taak.