I veicoli invieranno file tramite collegamenti cellulari inaffidabili; l'FTP attuale riavvia i trasferimenti in caso di errore. Per migliorare l'affidabilità e ridurre al minimo il tempo di trasferimento per l'ingestione ETL, cosa dovresti fare?

L'opzione corretta sfrutta le API di Google su HTTPS per i trasferimenti di file, che sono intrinsecamente più robusti dell'FTP su collegamenti cellulari inaffidabili, gestendo automaticamente ripristini e tentativi. L'uso di bucket Cloud Storage Regional in più regioni (USA, UE, Asia) riduce la latenza per i veicoli in diverse posizioni geografiche, migliorando la velocità di trasferimento e l'affidabilità complessiva. I bucket Regional sono più convenienti per l'archiviazione primaria quando la ridondanza geografica automatica non è la priorità principale per l'ingestione iniziale. L'ETL può quindi elaborare i dati da questi bucket. Le altre opzioni sono meno ideali: L'uso di server FTP su GKE non risolve l'inaffidabilità dell'FTP stesso su collegamenti scadenti. Più cluster GKE con FTP non migliorano la resilienza dell'FTP. Caricare direttamente in bucket Multi-Regional è una buona idea per l'affidabilità del trasferimento (API HTTPS), ma i bucket Regional sono più appropriati per l'ingestione iniziale in termini di costo e latenza, e la ridondanza multi-regionale può essere gestita in fasi successive del pipeline ETL se necessario.