La diffusion de données IoT depuis Cloud Pub/Sub via Dataflow vers BigQuery révèle environ 2 % d'enregistrements corrompus lors d'un aperçu. Comment modifier le pipeline Cloud Dataflow pour filtrer les données corrompues ?

La transformation ParDo est le moyen le plus flexible et le plus courant de traiter les éléments individuels dans un pipeline Dataflow. En ajoutant une étape ParDo, vous pouvez implémenter une logique personnalisée pour valider chaque enregistrement. Si un enregistrement est identifié comme corrompu (par exemple, en vérifiant le format, les valeurs manquantes ou les plages de données), la fonction processElement du ParDo peut simplement ne pas émettre cet élément, le filtrant ainsi du pipeline. Les autres options sont moins appropriées : Un SideInput est utilisé pour enrichir les éléments avec des données supplémentaires, pas pour filtrer les éléments corrompus. Une transformation Partition divise une PCollection en plusieurs PCollections en fonction d'une clé ou d'une fonction, mais ne filtre pas intrinsèquement les éléments. Elle pourrait être utilisée après un ParDo pour séparer les valides des corrompus si l'on voulait les traiter différemment, mais le filtrage initial se ferait toujours avec un ParDo. GroupByKey est utilisé pour regrouper des éléments ayant la même clé, ce qui n'est pas le but ici.