온프레미스 환경(공용 인터넷 없음)에서 매일 100GB의 구조화된 JSON 파일이 생성됩니다. 이 데이터를 쿼리하고 탐색하기 위해 BigQuery로 이동하고 가져오려면 어떻게 해야 할까요?

온프레미스 환경에서 인터넷 연결 없이 대량의 데이터를 Google Cloud로 전송하는 가장 효율적인 방법은 Transfer Service for on-premises data를 사용하는 것입니다. 이 서비스는 전용 소프트웨어 에이전트를 통해 데이터를 Cloud Storage로 안전하게 전송합니다. 이후 BigQuery Data Transfer Service를 사용하여 Cloud Storage에 저장된 구조화된 JSON 파일을 BigQuery로 가져와 쿼리하고 탐색할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. Cloud Scheduler는 데이터 전송을 예약하는 데 사용되지만, 인터넷 연결이 없는 온프레미스 환경에서 Cloud Storage로 직접 데이터를 복사하는 메커니즘을 제공하지 않습니다. Transfer Appliance는 매우 대량의 데이터를 오프라인으로 전송하는 물리적 장치로, 매일 100GB 데이터 전송에는 과도하며 실시간 전송에 적합하지 않습니다. BigQuery Data Transfer Service 데이터 세트 복사는 BigQuery 내 데이터 세트 복사에 사용되며, 온프레미스 데이터를 BigQuery로 가져오는 데는 직접적으로 사용되지 않습니다.