Das Streamen von IoT-Daten von Cloud Pub/Sub über Dataflow nach BigQuery zeigt in einer Vorschau etwa 2 % beschädigte Datensätze. Wie sollten Sie die Cloud Dataflow-Pipeline ändern, um beschädigte Daten herauszufiltern?

Eine ParDo-Transformation ist die Standardmethode in Dataflow, um Elemente in einer PCollection zu verarbeiten und zu filtern. Sie ermöglicht es Ihnen, benutzerdefinierte Logik zu implementieren, um jedes Element zu untersuchen und zu entscheiden, ob es weitergegeben oder verworfen werden soll. In diesem Fall würden Sie die ParDo-Transformation verwenden, um die IoT-Datensätze auf Beschädigung zu prüfen und nur die gültigen Datensätze auszugeben. Ein SideInput ist für zusätzliche Eingaben gedacht, die von der Haupt-PCollection unabhängig sind, nicht zum Filtern einzelner Elemente. Eine Partition-Transformation teilt eine PCollection in mehrere PCollections basierend auf einem Schlüssel, ist aber nicht primär zum Verwerfen von Daten gedacht. Eine GroupByKey-Transformation gruppiert Elemente mit demselben Schlüssel, was hier nicht das Ziel ist, da Sie beschädigte Datensätze filtern möchten, nicht gruppieren.