Vous avez un job Cloud Dataflow de streaming en cours d'exécution ; les ingénieurs ont produit une nouvelle version avec des fenêtrages et des déclencheurs différents. Pour mettre à jour sans perte de données, que devez-vous faire ?

La bonne approche est d'arrêter le job Dataflow avec l'option "Drain" et de créer un nouveau job avec le code mis à jour. L'option "Drain" permet au job en cours de traiter toutes les données déjà reçues et en transit avant de s'arrêter, garantissant ainsi qu'aucune donnée n'est perdue. Une fois le job drainé, vous pouvez démarrer un nouveau job avec les modifications de fenêtrage et de déclenchement. L'utilisation de --update avec --jobName (qu'il soit existant ou nouveau) ne prend pas en charge les modifications de logique de traitement complexes comme les fenêtrages et les déclencheurs. Ces mises à jour sont généralement destinées aux changements mineurs de code sans altérer la topologie du graphe de traitement. L'arrêt avec "Cancel" met fin au job immédiatement, ce qui peut entraîner une perte de données non traitées.