Sie haben einen laufenden Streaming Cloud Dataflow-Job; Ingenieure haben eine neue Version mit unterschiedlicher Fensterung und Triggern erstellt. Was sollten Sie tun, um ohne Datenverlust zu aktualisieren?

Die Option "Drain" ist korrekt, da sie sicherstellt, dass alle Daten, die sich bereits im Pipeline befinden, verarbeitet werden, bevor der Job beendet wird. Dies verhindert Datenverlust. Nach dem Beenden des alten Jobs kann ein neuer Job mit dem aktualisierten Code gestartet werden. Die Option "Cancel" ist falsch, da sie den Job sofort beendet und unprozessierte Daten im Pipeline verloren gehen könnten. Das Aktualisieren eines laufenden Dataflow-Jobs mit --update und dem gleichen --jobName ist für Änderungen an der Pipeline-Logik oder den Fenstern und Triggern nicht geeignet. Diese Methode ist primär für kleinere Änderungen an der Job-Konfiguration oder für Patches gedacht, die die Pipeline-Struktur nicht grundlegend ändern. Das Aktualisieren mit --update und einem neuen --jobName würde einen neuen Job starten, aber der alte Job würde weiterhin laufen und Daten verarbeiten, was zu doppelter Verarbeitung oder Inkonsistenzen führen könnte.