회사는 과거 데이터를 Cloud Storage에 업로드해야 하지만, 온프레미스 보안 정책상 온프레미스 리소스에 대한 외부 IP 액세스가 허용되지 않습니다. 초기 업로드 후에는 온프레미스 애플리케이션에서 매일 새로운 데이터가 추가될 예정입니다. 어떻게 해야 할까요?

온프레미스 보안 정책으로 인해 외부 IP 액세스가 허용되지 않는 상황에서 Cloud Storage로 데이터를 안전하게 전송해야 합니다. gsutil rsync는 온프레미스 서버에서 직접 Cloud Storage 버킷으로 데이터를 동기화하는 데 사용될 수 있습니다. 이는 데이터를 효율적으로 전송하고, 초기 업로드 후 매일 추가되는 데이터에 대해 증분 동기화를 지원하여 대역폭 사용을 최적화합니다. Dataflow 및 Dataproc은 데이터 변환 및 처리 파이프라인에 더 적합하며, 단순한 파일 전송에는 과도한 솔루션입니다. Compute Engine VM에 FTP 서버를 설치하는 것은 추가적인 관리 오버헤드를 발생시키고 보안 위험을 증가시킬 수 있습니다.