Ihr Unternehmen muss historische Daten in Cloud Storage hochladen, aber die lokale Sicherheit verbietet den externen IP-Zugriff auf lokale Ressourcen. Nach einem anfänglichen Upload werden täglich neue Daten von lokalen Anwendungen hinzugefügt. Was sollten sie tun?

Die korrekte Antwort ist, gsutil rsync von den lokalen Servern auszuführen. Da lokale Sicherheitsrichtlinien den externen IP-Zugriff auf lokale Ressourcen verbieten, muss der Upload von den lokalen Servern initiiert werden. gsutil rsync ist ein effizientes Tool, um Daten von lokalen Systemen in Cloud Storage zu synchronisieren, insbesondere bei inkrementellen Updates, da es nur geänderte oder neue Dateien überträgt. Die anderen Optionen sind weniger geeignet: Dataflow ist ein Datenverarbeitungsdienst, nicht primär für die initiale Datenübertragung von lokalen Quellen konzipiert, und würde hier einen unnötig komplexen Ansatz darstellen. Dataproc ist ein verwalteter Hadoop-Dienst und ebenfalls für die Datenverarbeitung gedacht, nicht für die direkte Übertragung von lokalen Dateien. Ein FTP-Server auf einer Compute Engine VM würde zwar den Empfang ermöglichen, aber die lokale Sicherheit verbietet den externen IP-Zugriff, was die Verbindung zum FTP-Server erschweren oder unmöglich machen würde. Zudem wäre dies eine zusätzliche Komponente, die verwaltet werden müsste.