Um DoFn do Dataflow falha em entradas malformadas e você deve capturar e reprocessar registros inválidos de forma confiável. Qual é a alteração de design correta?

A opção correta é usar um bloco try...catch dentro do DoFn para capturar exceções de entradas malformadas e, em seguida, direcionar esses elementos para um sideOutput. Isso permite que o pipeline continue processando os dados válidos enquanto os dados inválidos são coletados em uma PCollection separada. Essa PCollection pode ser posteriormente gravada em um sistema de mensagens como o Pub/Sub para reprocessamento ou análise, garantindo que nenhum dado seja perdido e que o pipeline seja tolerante a falhas. As outras opções são menos eficazes: Filtrar erros futuros não resolve o problema de dados malformados atuais e exige inspeção manual de logs. Extrair linhas errôneas de logs é ineficiente e não escalável para grandes volumes de dados, além de não ser uma forma confiável de reprocessamento. Escrever diretamente para o Pub/Sub de dentro do DoFn pode introduzir latência e sobrecarga desnecessárias, além de ser menos flexível do que usar um sideOutput para processamento em lote.