Все данные в BigQuery находятся в регионах США; объектные хранилища в AWS и Azure (США) также содержат данные. Вам нужны ежедневные запросы ко всем данным с минимальным перемещением данных. Какой вариант вы выберете?

Правильный ответ — использование BigQuery Omni с таблицами BigLake для запроса файлов в Azure и AWS. BigQuery Omni позволяет выполнять запросы к данным, хранящимся в AWS и Azure, непосредственно из BigQuery, без перемещения данных. Это минимизирует перемещение данных, что является ключевым требованием. Таблицы BigLake улучшают управление доступом и производительность запросов к внешним данным. Остальные варианты не подходят, так как они предполагают перемещение данных в BigQuery. BigQuery Data Transfer Service и конвейер Dataflow загружают данные в BigQuery, что противоречит требованию минимизации перемещения данных. Загрузка файлов в Cloud Storage с помощью gsutil rsync также влечет за собой перемещение данных и не позволяет запрашивать данные напрямую из их исходного местоположения.