È necessario implementare un aggiornamento incompatibile in una pipeline di streaming Dataflow in esecuzione utilizzando una sottoscrizione Pub/Sub, senza perdere dati. Cosa si dovrebbe fare?

Per implementare un aggiornamento incompatibile senza perdita di dati in una pipeline Dataflow in streaming, è necessario utilizzare il flag drain. Questo flag indica a Dataflow di completare l'elaborazione di tutti i dati già in transito e di fermare la pipeline in modo controllato. Una volta che la pipeline è stata svuotata, è possibile aggiornarla con le modifiche incompatibili e riavviarla, garantendo che nessun dato venga perso durante la transizione. Le altre opzioni sono meno appropriate: Aggiornare la pipeline con un JSON di transform-mapping è utile per migrare lo stato di pipeline compatibili, non per aggiornamenti incompatibili che richiedono un riavvio pulito. Creare una nuova pipeline riutilizzando la stessa sottoscrizione Pub/Sub senza svuotare la vecchia pipeline può portare a elaborazioni duplicate o alla perdita di dati, poiché entrambe le pipeline potrebbero tentare di leggere dalla stessa sottoscrizione contemporaneamente o la vecchia pipeline potrebbe essere terminata bruscamente. Creare una nuova pipeline con una nuova sottoscrizione Pub/Sub e annullare la vecchia pipeline comporterebbe la perdita di tutti i messaggi non ancora elaborati dalla vecchia sottoscrizione.