У вас есть несколько очень больших файлов (90 ГБ), которые нужно загрузить в Google Cloud, и вы обеспечите пропускную способность для первоначальной передачи. Транзакционные системы должны продолжать обновлять хранилище в режиме реального времени. Какие инструменты вы используете для массовой миграции и постоянной записи?

gsutil — это мощный инструмент командной строки для взаимодействия с Cloud Storage, идеально подходящий для массовой загрузки больших файлов (90 ГБ) благодаря поддержке параллельной загрузки и возобновления прерванных операций. Для постоянных обновлений в реальном времени Pub/Sub является отличным выбором для приема событий из транзакционных систем. Затем Cloud Dataflow может обрабатывать эти потоковые данные, выполняя необходимые преобразования и загружая их в целевое хранилище (например, BigQuery или Cloud Storage), обеспечивая низкую задержку и масштабируемость. Storage Transfer Service предназначен для переноса данных между различными источниками хранения, включая сторонние облака, но для прямой загрузки с локальной машины gsutil более эффективен. BigQuery Data Transfer Service ориентирован на перенос данных в BigQuery из SaaS-приложений или других сервисов Google, а не для массовой загрузки произвольных файлов. Использование gsutil для постоянных обновлений в реальном времени непрактично, так как это инструмент для пакетных операций, а не для потоковой обработки. Cloud Data Fusion и Dataproc могут использоваться для обработки данных, но Dataflow лучше подходит для потоковой обработки в реальном времени с низкой задержкой.