Você tem um job de streaming do Cloud Dataflow em execução; os engenheiros produziram uma nova versão com diferentes janelas (windowing) e gatilhos (triggers). Para atualizar sem perda de dados, o que você deve fazer?

A opção correta é parar o job com Drain e criar um novo. O modo Drain permite que o job termine de processar os dados já em trânsito, garantindo que nenhum dado seja perdido antes de ser interrompido. Isso é crucial para atualizações que alteram a lógica de processamento, como janelamento e gatilhos, pois o estado interno do job pode ser incompatível com a nova lógica. Atualizar o job usando --update (com nome de job existente ou novo) é adequado para alterações que não afetam o estado interno do pipeline, como otimizações de código ou mudanças em parâmetros que não alteram a lógica fundamental. No entanto, para mudanças significativas como janelamento e gatilhos, que alteram a forma como os dados são agrupados e processados ao longo do tempo, um novo job é necessário para garantir a integridade e correção dos dados. Parar o job com Cancel interrompe o processamento imediatamente, podendo resultar em perda de dados que ainda estavam sendo processados.