Zaprojektuj potok danych, który automatycznie skaluje się, zapewnia przetwarzanie co najmniej raz (at-least-once) i zachowuje kolejność komunikatów w 1-godzinnych oknach. Której architektury należy użyć?

Prawidłowa odpowiedź to użycie Cloud Pub/Sub do pozyskiwania komunikatów i Cloud Dataflow do analizy strumieniowej. Cloud Pub/Sub to w pełni zarządzana usługa przesyłania wiadomości, która automatycznie skaluje się, zapewnia dostarczanie co najmniej raz i gwarantuje kolejność komunikatów w ramach pojedynczego subskrybenta, co jest kluczowe dla wymagań zadania. Cloud Dataflow to w pełni zarządzana usługa do przetwarzania danych strumieniowych i wsadowych, która również automatycznie skaluje się i zapewnia przetwarzanie co najmniej raz, idealnie integrując się z Pub/Sub. Pozostałe opcje są mniej odpowiednie: Apache Kafka wymaga samodzielnego zarządzania i skalowania, co jest sprzeczne z wymogiem automatycznego skalowania. Cloud Dataproc to zarządzana usługa Apache Hadoop i Spark, która jest bardziej odpowiednia do zadań wsadowych lub interaktywnych, a nie do ciągłego przetwarzania strumieniowego z automatycznym skalowaniem w sposób tak efektywny jak Dataflow.