Entwerfen Sie eine Datenpipeline, die automatisch skaliert, At-Least-Once-Verarbeitung liefert und die Nachrichtenreihenfolge innerhalb von 1-Stunden-Fenstern beibehält. Welche Architektur sollten Sie verwenden?

Die Kombination aus Cloud Pub/Sub und Cloud Dataflow ist die beste Wahl. Cloud Pub/Sub bietet automatische Skalierung und At-Least-Once-Zustellung. Es unterstützt auch die Nachrichtenreihenfolge innerhalb von 1-Stunden-Fenstern durch die Verwendung von Ordering Keys, was für diese Anforderung entscheidend ist. Cloud Dataflow ist eine vollständig verwaltete, automatisch skalierende Streaming-Verarbeitungs-Engine, die für die Verarbeitung großer Datenmengen in Echtzeit optimiert ist und At-Least-Once-Verarbeitung unterstützt. Apache Kafka bietet zwar At-Least-Once-Verarbeitung und Skalierbarkeit, erfordert aber mehr Verwaltungsaufwand als Pub/Sub und seine Fähigkeit, die Nachrichtenreihenfolge innerhalb von Zeitfenstern zu garantieren, ist komplexer zu implementieren. Cloud Dataproc ist ein verwalteter Apache Hadoop und Spark Dienst, der sich besser für Batch-Verarbeitung oder Ad-hoc-Analysen eignet als für kontinuierliche, automatisch skalierende Streaming-Analyse mit den genannten Anforderungen.