Debe implementar una nueva versión de una canalización de Dataflow de streaming (lee Pub/Sub, escribe BigQuery) sin perder datos, evitando inconsistencias y manteniendo la latencia adicional por debajo de los 10 minutos. ¿Qué secuencia de implementación sigue?

Drenar la canalización antigua y luego iniciar la nueva canalización es la estrategia correcta para actualizar una canalización de Dataflow de streaming sin pérdida de datos, inconsistencias o alta latencia. Al drenar, Dataflow procesa todos los datos en tránsito antes de detener la canalización, asegurando que no se pierdan elementos y que BigQuery reciba todos los datos pendientes. Esto evita inconsistencias en los datos de salida. Luego, se inicia la nueva canalización, que comienza a leer desde Pub/Sub. Actualizar la canalización antigua con el nuevo código puede causar interrupciones o reinicios inesperados, lo que podría llevar a la pérdida de datos o duplicados si la actualización no se maneja correctamente. Crear una instantánea y luego iniciar una nueva canalización desde ella no es el método estándar para actualizaciones de código en streaming, y las instantáneas se usan más para recuperación o bifurcación de estados. Cancelar la canalización antigua detiene abruptamente el procesamiento, lo que resulta en la pérdida de datos en tránsito y posibles inconsistencias.