Você precisa implantar 10.000 sensores de temperatura de IoT globalmente e exige ingestão, processamento, armazenamento e análise em tempo real em escala. Qual arquitetura você deve usar?

Esta arquitetura é ideal para ingestão, processamento e análise em tempo real em escala. O Cloud Pub/Sub é um serviço de mensagens assíncronas escalável que pode lidar com o alto volume de dados de 10.000 sensores. O Cloud Dataflow oferece processamento de stream totalmente gerenciado, permitindo transformações e análises em tempo real dos dados. O BigQuery é um data warehouse sem servidor que pode armazenar e consultar grandes volumes de dados de forma eficiente para análise. Ingerir no Datastore e exportar para o BigQuery adiciona latência desnecessária. Gravar telemetria bruta no Cloud Storage e usar Dataproc sob demanda é mais adequado para processamento em lote, não em tempo real. Exportar logs em lote para o Cloud Storage e importar para o Cloud SQL não é escalável nem otimizado para dados de sensores em tempo real.