Conception d'un job Dataflow par lots : vous souhaitez atténuer les défaillances multi-zones au moment de la soumission du job. Que devez-vous faire ?

Spécifier une région de worker avec l'option --region est la bonne approche. Dataflow est un service régional, et en spécifiant une région (plutôt qu'une zone), vous permettez à Google Cloud de gérer automatiquement la distribution des ressources de votre job sur plusieurs zones au sein de cette région. Cela assure une résilience contre les pannes zonales, car si une zone échoue, Dataflow peut redéployer les workers dans une zone saine de la même région. Soumettre des pipelines en double dans deux zones différentes est inefficace et complexe à gérer. Définir un bucket Cloud Storage régional pour le staging est une bonne pratique pour la résilience des données, mais cela ne gère pas la résilience des workers Dataflow eux-mêmes lors de la soumission. Créer un déclencheur Eventarc pour resoumettre un job est une solution réactive et plus complexe qui n'empêche pas la défaillance initiale due à un problème zonal.