Você deve ingerir dados com resolução de minuto de 50.000 sensores, escalar para crescimento e disponibilizar os dados em 1 minuto para agregações em tempo real. Qual abordagem de ingestão você usa?

A ingestão de dados de 50.000 sensores com resolução de minuto e disponibilidade em 1 minuto para agregações em tempo real exige uma solução de streaming escalável. O Cloud Dataflow, com sua capacidade de processar grandes volumes de dados em tempo real e sua integração nativa com o BigQuery, é a escolha ideal. Ele pode lidar com o alto throughput dos sensores e garantir baixa latência para a disponibilidade dos dados. Usar bq load a cada 60 segundos é uma abordagem de lote que introduziria latência e não atenderia ao requisito de disponibilidade em 1 minuto. A instrução INSERT para lotes a cada 60 segundos também é uma abordagem de lote e pode ser ineficiente para o volume e a frequência necessários, além de não ser otimizada para streaming. A instrução MERGE é para atualizações e não para ingestão contínua de novos dados, além de ser uma operação de lote que não atenderia ao requisito de tempo real.