La transmisión de datos de IoT desde Cloud Pub/Sub a través de Dataflow a BigQuery muestra aproximadamente un 2% de registros corruptos en una vista previa. ¿Cómo debería modificar el pipeline de Cloud Dataflow para filtrar los datos corruptos?

Una transformación ParDo es la forma más directa y eficiente de filtrar elementos individuales en un pipeline de Dataflow. Puedes implementar lógica personalizada dentro de la función DoFn para identificar y descartar registros corruptos, emitiendo solo los registros válidos. Las otras opciones son menos adecuadas: Un SideInput no es para filtrar elementos, sino para proporcionar datos adicionales a una transformación. La transformación Partition se usa para dividir un PCollection en múltiples PCollections basadas en una clave o condición, no para descartar elementos. GroupByKey se utiliza para agrupar elementos por clave, lo cual no es el propósito principal aquí y podría ser ineficiente para simplemente descartar datos corruptos.