Vous devez déployer une nouvelle version de pipeline Dataflow de streaming (lit Pub/Sub, écrit BigQuery) sans perdre de données, en évitant les incohérences et en maintenant la latence ajoutée en dessous de 10 minutes. Quelle séquence de déploiement suivez-vous ?

La vidange (drain) d'un pipeline Dataflow est la méthode recommandée pour déployer une nouvelle version sans perte de données ni incohérence. Lorsque vous videz un pipeline, Dataflow termine le traitement de toutes les données en transit et écrit les résultats dans les destinations spécifiées (ici BigQuery) avant d'arrêter le pipeline. Cela garantit que toutes les données traitées par l'ancienne version sont correctement écrites. Ensuite, le démarrage du nouveau pipeline assure une transition en douceur. Mettre à jour l'ancien pipeline avec le nouveau code n'est pas une option standard pour les pipelines de streaming Dataflow; cela est plus pertinent pour les jobs par lots. Prendre un instantané, arrêter l'ancien pipeline, puis démarrer le nouveau à partir de l'instantané est une option pour la migration ou la reprise après sinistre, mais la vidange est préférable pour un déploiement continu afin d'assurer que toutes les données sont traitées. Annuler (cancel) un pipeline arrête immédiatement le traitement et peut entraîner une perte de données ou des données non écrites, ce qui est contraire aux exigences de ne pas perdre de données.