Ein Echtzeit-Fahrdienstsystem erfasst alle 5 Sekunden Fahrerstandorte und Buchungsereignisse, aggregiert alle 2 Sekunden Angebot/Nachfrage der letzten 30 Sekunden und speichert die Ergebnisse für Dashboards mit geringer Latenz. Welche Fenster- und Speicherwahl passt zu dieser Anforderung?

Die Anforderung, Angebots-/Nachfragedaten der letzten 30 Sekunden alle 2 Sekunden zu aggregieren, erfordert ein Hopping Window. Ein Hopping Window definiert eine feste Größe (30 Sekunden) und einen festen Hop-Intervall (2 Sekunden), wodurch sich die Fenster überlappen und kontinuierliche, gleitende Aggregationen ermöglichen. Dataflow ist ideal für diese Art der Stream-Verarbeitung. Memorystore (Redis) ist eine In-Memory-Datenbank, die für extrem niedrige Latenzzeiten bei Lese- und Schreibvorgängen optimiert ist, was für Echtzeit-Dashboards unerlässlich ist. Tumbling Windows sind nicht geeignet, da sie nicht überlappen und somit keine gleitende Aggregation der letzten 30 Sekunden alle 2 Sekunden ermöglichen würden. Session Windows sind für die Aggregation von Ereignissen basierend auf Benutzeraktivitätspausen konzipiert, nicht für feste Zeitintervalle. BigQuery ist ein Data Warehouse für analytische Abfragen großer Datensätze und bietet keine so geringe Latenz wie Memorystore für Echtzeit-Dashboards.