Projetando um job em lote do Dataflow: você deseja mitigar falhas multizona no momento do envio do job. O que você deve fazer?

Ao especificar uma região de worker usando a flag --region, você garante que o Dataflow provisione os workers em uma região específica, que é inerentemente multizona. Isso significa que, mesmo que uma zona dentro dessa região falhe, o Dataflow pode continuar operando em outras zonas da mesma região, mitigando falhas multizona no momento do envio do job. Enviar pipelines duplicados em zonas diferentes seria ineficiente e não é a abordagem padrão para resiliência multizona no Dataflow. Definir o local de staging como um bucket regional do Cloud Storage é uma boa prática para resiliência do armazenamento, mas não aborda a falha dos workers do Dataflow em si. Criar um gatilho Eventarc para reenviar o job só agiria após a falha, não a mitigaria no momento do envio.