È necessario implementare una nuova versione della pipeline di streaming Dataflow (che legge da Pub/Sub e scrive su BigQuery) senza perdere dati, evitando incoerenze e mantenendo la latenza aggiunta al di sotto dei 10 minuti. Quale sequenza di deployment si deve seguire?

La risposta corretta è "Eseguire il drain della vecchia pipeline, quindi avviare la nuova pipeline". Il drain di una pipeline Dataflow è il metodo raccomandato per aggiornare una pipeline di streaming senza perdita di dati o incoerenze. Durante il drain, la pipeline completa l'elaborazione di tutti i dati in transito e scrive i risultati finali, ma non accetta nuovi dati. Questo garantisce che tutti i dati già ricevuti vengano elaborati prima dell'arresto. Una volta che la vecchia pipeline è stata svuotata, la nuova pipeline può essere avviata, garantendo una transizione fluida con una latenza minima. Aggiornare la vecchia pipeline con il nuovo codice potrebbe non essere sempre possibile o potrebbe causare interruzioni temporanee. Creare uno snapshot e riavviare da esso è utile per ripristinare lo stato, ma non è il metodo più adatto per un aggiornamento continuo senza perdita di dati. Annullare (cancel) la vecchia pipeline interromperebbe immediatamente l'elaborazione, causando la perdita di dati in transito e potenziali incoerenze.