Um job do Dataflow inicia, processa alguns elementos e, em seguida, falha com erros relacionados a um DoFn específico na UI de monitoramento. Qual é a causa mais provável?

Quando um job do Dataflow falha após iniciar e processar alguns elementos, e a UI de monitoramento aponta para um DoFn específico, a causa mais provável são exceções no código do worker. Isso indica que o código dentro do DoFn encontrou um erro durante a execução em um dos workers, levando à falha do pipeline. A validação do job ocorre antes da execução, então não causaria uma falha após o processamento. A construção do grafo ou pipeline também é verificada no início; erros aqui impediriam o job de sequer começar a processar dados. Permissões insuficientes geralmente resultariam em falhas de acesso a recursos (como Cloud Storage ou BigQuery) e seriam reportadas de forma diferente, ou impediriam o job de iniciar.