Sie müssen eine neue Version einer Streaming-Dataflow-Pipeline (liest Pub/Sub, schreibt BigQuery) bereitstellen, ohne Daten zu verlieren, Inkonsistenzen zu vermeiden und die zusätzliche Latenz unter 10 Minuten zu halten. Welche Bereitstellungssequenz befolgen Sie?

Das Leeren (Draining) der alten Pipeline ist die beste Methode, um eine neue Version einer Streaming-Pipeline bereitzustellen, ohne Daten zu verlieren oder Inkonsistenzen zu verursachen. Beim Leeren verarbeitet die alte Pipeline alle noch ausstehenden Daten und beendet sich dann sauber, während sie ihren Zustand beibehält. Anschließend kann die neue Pipeline gestartet werden, die den verarbeiteten Zustand der alten Pipeline übernimmt und die Verarbeitung nahtlos fortsetzt. Das Aktualisieren der alten Pipeline mit neuem Code ist riskant, da es zu Unterbrechungen oder Datenverlust führen kann. Das Erstellen eines Snapshots und das anschließende Stoppen und Starten einer neuen Pipeline kann zu einer erhöhten Latenz führen und ist komplexer. Das Abbrechen der alten Pipeline führt zum sofortigen Stoppen der Verarbeitung und kann zu Datenverlust führen.