Je moet een incompatibele update implementeren voor een actieve Dataflow streaming pipeline die gebruikmaakt van een Pub/Sub subscription, zonder gegevens te verliezen. Wat moet je doen?

De drain flag is essentieel voor incompatibele updates van Dataflow streaming pipelines. Wanneer je een pipeline met drain bijwerkt, zorgt Dataflow ervoor dat alle in-flight data wordt verwerkt en naar de sinks wordt geschreven voordat de oude pipeline stopt. De nieuwe pipeline neemt dan de verwerking over vanaf het punt waar de oude pipeline is geëindigd, waardoor gegevensverlies wordt voorkomen en "exactly-once" verwerking wordt benaderd. Het bijwerken met een transform-mapping JSON is niet direct van toepassing op het migreren van de pipeline zelf, maar eerder op het transformeren van dataformaten binnen de pipeline. Een nieuwe pipeline maken die dezelfde Pub/Sub subscription hergebruikt, zou leiden tot dubbele verwerking van berichten, omdat de nieuwe pipeline vanaf het begin van de backlog zou lezen. Een nieuwe pipeline met een nieuwe Pub/Sub subscription zou betekenen dat de oude berichten niet worden verwerkt door de nieuwe pipeline, wat leidt tot gegevensverlies.