온프레미스 데이터를 마이그레이션해야 합니다. 200TB의 SAN 비디오 파일, Redshift 데이터 웨어하우스, S3에 있는 20GB의 PNG 파일이 있습니다. 코드를 작성하지 않고 비디오는 Cloud Storage 버킷에, 웨어하우스 데이터는 BigQuery에, PNG는 다른 Cloud Storage 버킷에 로드해야 합니다. 무엇을 사용해야 할까요?

200TB의 대용량 온프레미스 비디오 파일을 Cloud Storage로 옮기려면 Transfer Appliance가 가장 효율적입니다. 이는 대규모 데이터를 네트워크를 통해 전송하는 것보다 물리적 장치를 사용하는 것이 빠르고 비용 효율적이기 때문입니다. Redshift 데이터 웨어하우스 데이터를 BigQuery로 옮기는 데는 BigQuery Data Transfer Service가 적합합니다. 이 서비스는 타사 데이터 웨어하우스에서 BigQuery로 데이터를 자동화된 방식으로 전송하도록 설계되었습니다. S3에서 Cloud Storage로 20GB의 PNG 파일을 옮기는 것은 Storage Transfer Service를 통해 코드를 작성하지 않고도 쉽게 수행할 수 있습니다. 이는 클라우드 저장소 간의 데이터 전송에 최적화되어 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. gcloud storage는 200TB와 같은 대용량 데이터 전송에 비효율적입니다. Dataflow는 데이터 변환 및 처리에 주로 사용되며, Redshift에서 BigQuery로의 직접적인 전송에는 BigQuery Data Transfer Service가 더 적합합니다. Storage Transfer Service는 온프레미스에서 Cloud Storage로의 대규모 데이터 전송에 사용할 수 있지만, 200TB와 같은 매우 큰 규모에서는 Transfer Appliance가 더 빠르고 안정적일 수 있습니다. Cloud Data Fusion은 데이터 통합 및 ETL 파이프라인 구축에 사용되며, 단순히 대용량 파일을 전송하는 데는 과도한 솔루션입니다.