Entwerfen Sie die Datenerfassung für 20 Millionen Fahrzeuge, die jede Sekunde 600-Byte-Datensätze (~40 TB/Stunde) produzieren. Wie sollen die Fahrzeuge Daten an GCP senden?

Google Cloud Pub/Sub ist die beste Wahl für die Erfassung großer Mengen von Streaming-Daten von vielen Quellen. Es bietet eine hochskalierbare, asynchrone Messaging-Lösung, die die Entkopplung von Sendern (Fahrzeugen) und Empfängern ermöglicht. Dies ist entscheidend für 20 Millionen Fahrzeuge, die jede Sekunde Daten senden. Das direkte Schreiben in Cloud Storage wäre ineffizient und würde zu einer riesigen Anzahl kleiner Dateien führen, was die Verwaltung erschwert. Das direkte Streaming in BigQuery ist für die sofortige Analyse gedacht, aber Pub/Sub ist der bessere erste Schritt für die reine Datenerfassung, bevor die Daten in BigQuery zur Analyse weitergeleitet werden. Ein FTP-basiertes System ist für diese Skala und Echtzeitanforderungen völlig ungeeignet.