Ваша компания должна загрузить исторические данные в Cloud Storage, но локальная система безопасности запрещает доступ к локальным ресурсам по внешнему IP-адресу. После первоначальной загрузки новые данные будут ежедневно добавляться из локальных приложений. Что им следует сделать?

Правильный ответ — gsutil rsync с локальных серверов. gsutil rsync позволяет синхронизировать локальные данные с Cloud Storage. Поскольку локальная система безопасности запрещает доступ по внешнему IP-адресу, необходимо инициировать передачу данных с локальных серверов. gsutil rsync — это эффективный инструмент для однократной загрузки исторических данных и последующего ежедневного добавления новых данных, так как он синхронизирует только измененные или новые файлы. Dataflow и Dataproc не подходят для этой задачи, так как они являются инструментами для обработки данных, а не для прямой передачи файлов из локальной среды, особенно при ограничениях на исходящий доступ. Установка FTP-сервера на VM Compute Engine является обходным путем, который добавляет ненужную сложность, требует управления дополнительной инфраструктурой и не является рекомендуемым способом для регулярной синхронизации данных с Cloud Storage.