Necesita agregar eventos de aplicación por intervalos horarios disjuntos desde un tema de Pub/Sub y cargar los resultados en BigQuery a gran escala. ¿Qué arquitectura de procesamiento debería usar?

La arquitectura correcta es ejecutar un trabajo de Dataflow de streaming que lea continuamente desde Pub/Sub y agregue usando ventanas de tiempo horarias. Dataflow es ideal para procesamiento de datos a gran escala, especialmente para streaming, y sus capacidades de ventanas de tiempo permiten agregar eventos en intervalos disjuntos de forma eficiente y precisa. Las otras opciones son menos adecuadas: Una Cloud Function por cada mensaje de Pub/Sub sería costosa e ineficiente para un gran volumen de eventos, ya que cada invocación incurriría en sobrecarga. Programar una Cloud Function cada hora para extraer mensajes no es escalable ni robusto para grandes volúmenes y podría perder datos si el procesamiento excede el tiempo de ejecución de la función. Un trabajo de Dataflow por lotes programado cada hora introduce latencia y no es óptimo para un flujo continuo de eventos, ya que procesaría los datos en bloques discretos en lugar de en tiempo real.