Après le déploiement d'une nouvelle version du pipeline d'ingestion, les données stockées quotidiennement dans BigQuery ont augmenté de 50 %, les volumes Pub/Sub sont restés inchangés et seules certaines partitions quotidiennes ont doublé. Comment enquêter et corriger la cause ?

L'augmentation de 50 % des données dans BigQuery, alors que les volumes Pub/Sub sont stables et que seules certaines partitions sont doublées, suggère un problème de duplication de données après l'ingestion, plutôt qu'une augmentation du volume source. La première étape est de vérifier les lignes dupliquées dans les partitions affectées. Ensuite, l'examen des journaux d'audit BigQuery permet d'identifier les tâches d'ingestion responsables. Cloud Monitoring peut alors être utilisé pour corréler ces tâches avec les versions de code du pipeline et leur démarrage. Enfin, si plusieurs pipelines ingèrent des données dans la même table, il est crucial de s'assurer que seule la version la plus récente et correcte est active pour éviter des écritures concurrentes ou redondantes. Les autres options sont moins efficaces ou potentiellement destructrices. Annuler le déploiement ou restaurer les tables sans comprendre la cause ne résout pas le problème de fond. Vérifier les erreurs de code est utile, mais la duplication peut survenir sans erreur explicite. Rejouer les messages Pub/Sub pourrait aggraver la situation si la cause n'est pas identifiée.