Ein einzelner lokaler Kafka-Cluster in us-east erfasst IoT-Gerätemeldungen weltweit. Schlechte Konnektivität führt zu Edge-Batching und Erfassungsspitzen, was Kosten- und Verwaltungsprobleme verursacht. Welche von Google empfohlene Cloud-native Architektur sollten Sie einführen?

Die empfohlene Architektur ist ein IoT-Gateway, das mit Cloud Pub/Sub verbunden ist, mit Cloud Dataflow zum Lesen und Verarbeiten der Nachrichten von Cloud Pub/Sub. Diese Lösung nutzt Cloud Pub/Sub als globalen, hochverfügbaren und skalierbaren Messaging-Dienst, der die Spitzenlasten durch Edge-Batching effizient bewältigt. Das IoT-Gateway sorgt für eine zuverlässige und sichere Verbindung der Geräte zur Cloud. Cloud Dataflow bietet eine serverlose, skalierbare Datenverarbeitungspipeline, die die Nachrichten in Echtzeit oder Batch verarbeiten kann, wodurch die Verwaltungskomplexität und die Kosten reduziert werden. Edge TPUs sind für maschinelles Lernen am Edge konzipiert, nicht für die Nachrichtenübertragung. Cloud Dataflow allein löst nicht die Probleme der Erfassungsspitzen und der globalen Konnektivität. Ein virtualisierter Kafka-Cluster auf Compute Engine würde die Skalierungs- und Verwaltungsprobleme nicht vollständig lösen und wäre teurer als eine vollständig verwaltete Lösung.