Ontwerp de data-ingestie voor 20 miljoen voertuigen die elke seconde records van 600 bytes produceren (~40 TB/uur). Hoe moeten voertuigen data naar GCP verzenden?

Pub/Sub is de beste keuze voor deze schaal, omdat het een zeer schaalbare, asynchrone berichtenservice is die is ontworpen voor het verwerken van miljoenen gebeurtenissen per seconde. Voertuigen kunnen berichten publiceren zonder te wachten op bevestiging, wat essentieel is voor hoge doorvoer en lage latentie. Direct schrijven naar Cloud Storage is inefficiënt voor individuele, kleine, frequente updates en zou leiden tot een enorm aantal kleine bestanden. Direct streamen naar BigQuery is ook niet ideaal, omdat BigQuery geoptimaliseerd is voor analyse en niet voor directe, grootschalige, continue ingestie van individuele records. Een FTP-systeem zou de vereiste schaal en snelheid absoluut niet aankunnen.