O streaming de dados de IoT do Cloud Pub/Sub, passando pelo Dataflow até o BigQuery, mostra aproximadamente 2% de registros corrompidos em uma prévia. Como você deve modificar o pipeline do Cloud Dataflow para filtrar dados corrompidos?

A transformação ParDo é a maneira mais eficiente e idiomática no Dataflow para inspecionar cada elemento individualmente e aplicar lógica condicional. Neste caso, ela pode ser usada para filtrar e descartar registros que não atendem aos critérios de validação definidos, permitindo que apenas os dados válidos prossigam no pipeline. Adicionar um SideInput para um booleano não é apropriado, pois a validação é por elemento e não depende de dados externos estáticos. A transformação Partition separaria os dados, mas não os descartaria diretamente, exigindo passos adicionais para o descarte. GroupByKey é para agregação e não para filtragem baseada em validade individual dos elementos.