Su empresa debe cargar datos históricos en Cloud Storage, pero la seguridad local no permite el acceso de IP externas a los recursos locales. Después de una carga inicial, se añadirán nuevos datos diariamente desde las aplicaciones locales. ¿Qué deben hacer?

La opción correcta es ejecutar gsutil rsync desde los servidores locales. gsutil es una herramienta de línea de comandos que permite interactuar con Cloud Storage. Aunque la seguridad local prohíbe el acceso de IP externas a los recursos locales, no impide que los recursos locales inicien conexiones salientes a servicios externos como Cloud Storage. gsutil rsync es eficiente para cargas iniciales de grandes volúmenes de datos y para sincronizaciones incrementales diarias, ya que solo transfiere los datos modificados. Las otras opciones son menos adecuadas: Usar Dataflow implicaría una complejidad innecesaria para una simple transferencia de archivos y no resuelve el problema de cómo los datos llegan a Dataflow desde el entorno local. Escribir una plantilla de trabajo en Dataproc es excesivo para la tarea de transferencia de archivos y tampoco aborda el acceso inicial de los datos locales. Instalar un servidor FTP en una VM de Compute Engine introduce un punto de fallo adicional, requiere gestión de infraestructura y no es una solución nativa ni tan eficiente como gsutil para Cloud Storage.