Vous devez ingérer des données avec une résolution à la minute provenant de 50 000 capteurs, prévoir une mise à l'échelle pour la croissance et rendre les données disponibles en moins d'une minute pour des agrégations en temps réel. Quelle approche d'ingestion utilisez-vous ?

Un pipeline Cloud Dataflow est la meilleure approche car il permet l'ingestion de données en streaming à grande échelle, ce qui est essentiel pour 50 000 capteurs avec une résolution à la minute. Dataflow peut gérer la croissance future et garantir que les données sont disponibles en moins d'une minute pour les agrégations en temps réel. L'utilisation de bq load ou d'instructions INSERT ou MERGE par lots toutes les 60 secondes introduirait une latence et ne serait pas aussi efficace ou évolutive pour le volume et la vitesse requis. Ces méthodes par lots sont plus adaptées aux scénarios où une latence de plusieurs minutes est acceptable ou pour des volumes de données moins importants.