通过 Dataflow 从 Cloud Pub/Sub 流式传输 IoT 数据到 BigQuery，在预览中显示约 2% 的记录损坏。您应该如何修改 Cloud Dataflow 流水线以过滤掉损坏的数据？

在 Cloud Dataflow 中添加一个 ParDo 转换来丢弃损坏的元素是处理此问题的最直接和高效的方法。ParDo 转换允许您对 PCollection 中的每个元素应用自定义逻辑。您可以编写一个函数，检查每个传入的 IoT 记录是否损坏。如果记录有效，则将其发出到下一个转换；如果损坏，则简单地不发出它，从而有效地将其从管道中丢弃。 其他选项不合适： 添加一个 SideInput 来返回布尔值：SideInput 用于将额外数据传递给 ParDo 转换，而不是用于直接过滤或处理主 PCollection 中的单个元素。 添加一个 Partition 转换：Partition 转换将 PCollection 分成固定数量的子 PCollection，通常基于某个键或属性。虽然它可以将有效数据和损坏数据分开，但它不会直接“丢弃”损坏数据，并且通常比简单的 ParDo 过滤更复杂。 添加一个 GroupByKey 转换：GroupByKey 转换用于按键对元素进行分组，通常在聚合操作之前。它不适合用于基于元素内容来过滤或丢弃单个损坏记录。