Sie müssen Pub/Sub-Nachrichten genau einmal verarbeiten und die Ergebnisse mit dem einfachsten und kostengünstigsten Ansatz speichern. Was sollten Sie tun?

Die Verarbeitung von Pub/Sub-Nachrichten mit einer Dataflow-Streaming-Pipeline unter Verwendung von Apache Beam PubSubIO ist die beste Option für die genau einmalige Verarbeitung und Speicherung der Ergebnisse. Dataflow bietet integrierte Unterstützung für genau einmalige Verarbeitung (Exactly-Once Semantics) und ist für die Verarbeitung großer Datenmengen optimiert. Die Speicherung der Ausgabe im Speicher ist kostengünstig und einfach. Dataproc ist für Batch-Verarbeitung und Big Data-Analysen konzipiert, nicht ideal für Streaming mit genau einmaliger Semantik. Cloud Functions sind ereignisgesteuert und eignen sich für kleinere, kurzlebige Aufgaben, aber nicht für die robuste genau einmalige Verarbeitung von Streams. Die Verwendung von Cloud Bigtable und einer zweiten Dataflow-Pipeline zur Deduplizierung ist komplexer und teurer als die integrierte Lösung von Dataflow.