Você precisa agregar eventos de aplicativos por intervalos horários disjuntos de um tópico do Pub/Sub e carregar os resultados no BigQuery em larga escala. Qual arquitetura de processamento você deve usar?

A arquitetura de streaming do Dataflow com janelas de tumbling (horárias) é a mais adequada porque o Dataflow foi projetado para processamento de dados em larga escala, contínuo e em tempo real. As janelas de tumbling garantem que os eventos sejam agregados em intervalos disjuntos e fixos, como o requisito horário. O Pub/Sub fornece uma fonte de dados de streaming escalável. As Cloud Functions acionadas por mensagem são ineficientes para agregações em larga escala, pois cada mensagem acionaria uma função separada, gerando sobrecarga e dificultando a agregação de dados entre mensagens. Agendar uma Cloud Function ou um job em lote do Dataflow a cada hora introduziria latência e complexidade desnecessárias para um fluxo de dados contínuo, além de não ser ideal para processamento em tempo real ou quase em tempo real.