Vous devez agréger des événements d'application par intervalles horaires disjoints à partir d'un sujet Pub/Sub et charger les résultats dans BigQuery à grande échelle. Quelle architecture de traitement devriez-vous utiliser ?

L'exécution d'un job Dataflow en streaming avec des fenêtres glissantes horaires est la solution la plus appropriée. Dataflow est conçu pour le traitement de données en continu et à grande échelle, et ses capacités de fenêtrage permettent d'agréger les événements par intervalles horaires disjoints de manière efficace et tolérante aux pannes. Les Cloud Functions, qu'elles soient déclenchées par message ou planifiées, ne sont pas optimisées pour l'agrégation de gros volumes de données en continu et pourraient entraîner des coûts élevés ou des latences importantes. Un job Dataflow par lots planifié toutes les heures introduirait une latence et ne permettrait pas un traitement en temps quasi réel des événements.