Voertuigen versturen bestanden via onbetrouwbare mobiele verbindingen; de huidige FTP herstart overdrachten bij een storing. Wat moet u doen om de betrouwbaarheid te verbeteren en de overdrachtstijd voor ETL-ingestie te minimaliseren?

De correcte optie is het uploaden van bestanden rechtstreeks naar Regional Cloud Storage-buckets via Google API's via HTTPS. Dit is de meest efficiënte en betrouwbare methode. Google Cloud Storage API's zijn ontworpen voor robuuste overdracht over onbetrouwbare netwerken, inclusief automatische hervatting van uploads. Regionale buckets minimaliseren de latentie voor voertuigen in specifieke geografische gebieden, wat cruciaal is voor mobiele verbindingen. HTTPS zorgt voor beveiliging. Het ETL-proces kan vervolgens gegevens uit deze buckets halen. De andere opties zijn minder optimaal: Een enkel GKE-cluster met FTP-servers en een Multi-Regional bucket introduceert een single point of failure en FTP is inherent minder robuust dan de Cloud Storage API. Meerdere GKE-clusters met FTP-servers in verschillende regio's verbetert de beschikbaarheid, maar behoudt de inefficiënties van FTP en de complexiteit van het beheer van GKE-clusters voor een simpele bestandsoverdracht. Het uploaden naar Multi-Regional Cloud Storage-buckets via Google API's is beter, maar Multi-Regional buckets zijn duurder en bieden geen significant voordeel in latentie voor mobiele uploads vergeleken met regionale buckets, aangezien de initiële upload altijd naar één locatie gaat.