Musisz agregować zdarzenia aplikacji w rozłącznych interwałach godzinowych z tematu Pub/Sub i ładować wyniki do BigQuery na dużą skalę. Jakiej architektury przetwarzania należy użyć?

Poprawna odpowiedź to uruchomienie zadania strumieniowego Dataflow, które w sposób ciągły odczytuje dane z Pub/Sub i agreguje je, używając okienek czasowych (tumbling windows) co godzinę. Dataflow w trybie strumieniowym jest zaprojektowany do przetwarzania danych w czasie rzeczywistym na dużą skalę, a okienka czasowe (tumbling windows) idealnie nadają się do agregacji danych w stałych, nieoverlappingowych interwałach, takich jak godzinowe. Użycie Cloud Function wyzwalanej przez każdą wiadomość Pub/Sub nie jest efektywne dla agregacji na dużą skalę, ponieważ każda funkcja przetwarzałaby pojedynczą wiadomość, co generowałoby duży narzut. Planowanie Cloud Function co godzinę do pobierania wszystkich wiadomości z Pub/Sub jest mniej wydajne niż Dataflow dla dużych wolumenów danych i nie zapewnia natywnego mechanizmu okienkowania. Planowanie zadania wsadowego Dataflow co godzinę również nie jest optymalne, ponieważ Dataflow w trybie strumieniowym jest bardziej odpowiedni do ciągłego przetwarzania danych w czasie rzeczywistym i oferuje wbudowane funkcje okienkowania.