O Pub/Sub mostra todas as mensagens JSON publicadas, mas o painel em tempo real construído com o Cloud Dataflow está perdendo algumas mensagens. O que você deve fazer a seguir?

A melhor abordagem é testar o pipeline do Cloud Dataflow com um conjunto de dados fixo e conhecido. Isso permite isolar a causa do problema, verificando se o pipeline processa corretamente todas as mensagens esperadas. Se o pipeline falhar em processar o conjunto de dados conhecido, o problema está no Dataflow. Se o pipeline processar corretamente, o problema pode estar na ingestão de dados ou na configuração do Pub/Sub. Inspecionar o aplicativo do painel em busca de erros de exibição é prematuro, pois o problema pode estar no pipeline. Usar o Stackdriver Monitoring no Cloud Pub/Sub pode mostrar métricas, mas não revelará quais mensagens específicas estão faltando após o processamento do Dataflow. Alterar o método de pull/push do Pub/Sub para o Dataflow não resolverá o problema sem antes identificar a causa raiz.