Progetta l'ingestione per 20 milioni di veicoli che producono record da 600 byte ogni secondo (~40 TB/ora). In che modo i veicoli dovrebbero inviare i dati a GCP?

Pub/Sub è la soluzione ideale per l'ingestione di dati in tempo reale e su larga scala, come i 40 TB/ora generati da 20 milioni di veicoli. Offre scalabilità automatica, bassa latenza e un modello di messaggistica asincrono che disaccoppia i mittenti (veicoli) dai ricevitori, garantendo affidabilità anche con picchi di traffico. Scrivere direttamente su Cloud Storage sarebbe inefficiente e complesso da gestire per milioni di piccole scritture continue. Trasmettere direttamente a BigQuery non è il pattern corretto per l'ingestione di stream di dati grezzi; BigQuery è più adatto per l'analisi dopo l'ingestione e la trasformazione. L'FTP è obsoleto, non scalabile e non adatto per volumi e velocità di dati così elevati.