Ваша локальная среда (без публичного интернета) ежедневно генерирует 100 ГБ структурированных JSON-файлов. Как следует переместить и импортировать эти данные в BigQuery для запросов и исследования?

Правильный ответ: Transfer Service for on-premises data (ранее Storage Transfer Service) предназначен для перемещения больших объемов данных из локальных источников в Cloud Storage, что соответствует сценарию ежедневной передачи 100 ГБ. После того как данные окажутся в Cloud Storage, BigQuery Data Transfer Service может быть использован для регулярного импорта этих данных в BigQuery для запросов и анализа. Неправильные варианты: Cloud Scheduler предназначен для автоматизации задач по расписанию, но сам по себе не является инструментом для передачи данных из локальной среды. Transfer Appliance используется для очень больших объемов данных (петабайты), когда сетевая передача непрактична, что не соответствует ежедневным 100 ГБ. BigQuery Data Transfer Service не может напрямую передавать данные из локальной среды; он работает с источниками данных, уже доступными в Google Cloud или из определенных сторонних сервисов.