Concevez l'ingestion pour 20 millions de véhicules produisant des enregistrements de 600 octets chaque seconde (~40 To/heure). Comment les véhicules doivent-ils envoyer des données à GCP ?

Pub/Sub est le service d'ingestion de messages le plus approprié pour ce scénario de streaming à grande échelle. Il est conçu pour gérer des volumes élevés de données en temps réel, offrant une faible latence et une livraison garantie. Les véhicules peuvent publier des messages de manière asynchrone, et Pub/Sub gérera la mise à l'échelle et la distribution. Écrire directement vers Cloud Storage n'est pas idéal pour des flux de données aussi granulaires et fréquents, car cela entraînerait un nombre excessif de petites écritures et une gestion complexe des fichiers. Diffuser directement vers BigQuery depuis les véhicules n'est pas une pratique recommandée ; BigQuery est un entrepôt de données analytique, pas un point d'ingestion direct pour des millions de sources. Utiliser un système FTP existant ne serait pas évolutif ni performant pour 40 To/heure de données en temps réel.