Sie müssen ein inkompatibles Update für eine laufende Dataflow-Streaming-Pipeline bereitstellen, die ein Pub/Sub-Abonnement verwendet, ohne Daten zu verlieren. Was sollten Sie tun?

Um ein inkompatibles Update für eine Dataflow-Streaming-Pipeline ohne Datenverlust bereitzustellen, ist die korrekte Methode, die aktuelle Pipeline mit dem drain-Flag zu aktualisieren. Das drain-Flag bewirkt, dass Dataflow alle noch ausstehenden Daten verarbeitet und die Pipeline dann stoppt, ohne sie sofort zu beenden. Dies stellt sicher, dass keine Daten verloren gehen, die sich bereits im Verarbeitungspfad befinden. Nach dem Drain kann die aktualisierte Pipeline mit den neuen Änderungen gestartet werden, wobei sie das gleiche Pub/Sub-Abonnement nahtlos fortsetzt. Das Bereitstellen eines transform-mapping JSON ist für die Migration des Zustands bei Schemaänderungen gedacht, aber nicht die primäre Methode für ein inkompatibles Update einer laufenden Pipeline. Das Erstellen einer neuen Pipeline und das Abbrechen der alten Pipeline kann zu Datenverlust führen, insbesondere wenn die alte Pipeline abgebrochen wird, bevor alle Daten verarbeitet wurden. Die Verwendung eines neuen Pub/Sub-Abonnements würde den Datenstrom unterbrechen und ist daher ebenfalls nicht geeignet, um Datenverlust zu vermeiden.