Ein Cloud Dataflow-Job, der Windowing und Transformationen auf Pub/Sub-Streaming-Daten verwendet, schlägt bei einem Streaming-Insert fehl. Was ist die wahrscheinlichste Ursache?

Cloud Dataflow-Jobs, die Windowing auf Streaming-Daten anwenden, benötigen eine nicht-globale (sharded) Windowing-Funktion, um die Datenverarbeitung parallelisieren zu können. Wenn keine solche Windowing-Funktion definiert ist, versucht Dataflow, alle Daten in einem einzigen globalen Fenster zu verarbeiten, was bei Streaming-Daten zu einem unbegrenzten Speicherbedarf führt. Dies kann bereits bei der Pipeline-Erstellung oder kurz nach dem Start zu einem Fehler führen, da das System die Unmöglichkeit der Verarbeitung erkennt. Die Zuweisung von Ereignis-Timestamps ist zwar wichtig für korrektes Windowing, führt aber nicht direkt zum Fehlschlagen des Jobs bei der Erstellung. Trigger sind für die Verarbeitung später Daten relevant, nicht für das grundlegende Fehlschlagen des Jobs bei der Erstellung. Eine globale Windowing-Funktion ist für Streaming-Daten ohne Sharding ungeeignet und würde ebenfalls zu Problemen führen, aber die spezifische Ursache hier ist das Fehlen einer nicht-globalen (sharded) Windowing-Strategie.