Você está gravando eventos de comportamento do usuário no BigQuery por meio da BigQuery Storage Write API e deve evitar duplicatas usando a abordagem operacional mais simples. O que você faz?

A API BigQuery Storage Write com um write stream do tipo committed é a abordagem mais simples e operacionalmente eficiente para evitar duplicatas. Este tipo de stream garante que os dados sejam gravados de forma atômica e que o BigQuery lide automaticamente com a dedupicação de registros dentro do stream, usando um offset para garantir a idempotência. Criar um write stream no tipo padrão exige que você gerencie a dedupicação manualmente, o que é mais complexo. Configurar um cluster Kafka ou um tópico do Pub/Sub com Cloud Functions para dedupicação introduz uma complexidade operacional significativamente maior e custos adicionais, além de exigir lógica personalizada para gerenciar duplicatas.