È necessario aggregare gli eventi dell'applicazione per intervalli orari disgiunti da un argomento Pub/Sub e caricare i risultati in BigQuery su larga scala. Quale architettura di elaborazione è opportuno utilizzare?

Un job Dataflow di streaming con finestre a cascata (tumbling windows) è la soluzione più appropriata perché è progettato per l'elaborazione continua di dati in tempo reale da Pub/Sub e per l'aggregazione efficiente su intervalli di tempo fissi e non sovrapposti (orari), gestendo la scalabilità richiesta. Le Cloud Functions attivate per messaggio non sono adatte per aggregazioni su larga scala, in quanto ogni funzione elaborerebbe un singolo messaggio, rendendo l'aggregazione oraria inefficiente e complessa da coordinare. Pianificare una Cloud Function oraria per estrarre tutti i messaggi sarebbe inefficiente e potenzialmente problematico per volumi elevati, poiché le Cloud Functions hanno limiti di esecuzione e memoria che potrebbero essere superati. Un job Dataflow batch orario introdurrebbe latenza e non sarebbe ottimale per un'elaborazione continua, oltre a dover gestire la logica per non rielaborare messaggi già acquisiti.