Google Cloud로 로드해야 하는 매우 큰(90GB) 파일이 몇 개 있으며 초기 전송을 위한 대역폭을 제공할 것입니다. 트랜잭션 시스템은 실시간으로 웨어하우스를 계속 업데이트해야 합니다. 대량 마이그레이션 및 지속적인 쓰기를 위해 어떤 도구를 사용하시겠습니까?

초기 대용량 파일(90GB) 마이그레이션에는 gsutil이 적합합니다. gsutil은 Cloud Storage와 상호작용하는 강력한 명령줄 도구로, 대용량 파일 전송에 효율적이며 병렬 업로드 및 재시도 기능을 제공합니다. Storage Transfer Service는 대규모 데이터 전송에 유용하지만, 이 경우 gsutil로 충분합니다. BigQuery Data Transfer Service는 다른 Google Cloud 서비스나 외부 소스에서 BigQuery로 데이터를 전송하는 데 사용되며, 일반 파일 마이그레이션에는 적합하지 않습니다. 실시간으로 트랜잭션 시스템의 웨어하우스를 업데이트하는 지속적인 쓰기에는 Pub/Sub과 Dataflow의 조합이 최적입니다. Pub/Sub은 비동기 메시징 서비스로, 트랜잭션 시스템에서 발생하는 변경 사항을 실시간으로 수집하는 데 사용됩니다. Dataflow는 스트리밍 및 배치 데이터 처리를 위한 완전 관리형 서비스로, Pub/Sub에서 수집된 데이터를 처리하고 웨어하우스(예: BigQuery)에 지속적으로 로드하는 데 적합합니다. Cloud Data Fusion은 데이터 통합 서비스이지만, 실시간 스트리밍 처리보다는 ETL 파이프라인 구축에 더 중점을 둡니다. Dataproc은 Apache Spark 및 Hadoop 클러스터를 관리하는 서비스로, 실시간 스트리밍 처리도 가능하지만, 완전 관리형 Dataflow가 이 시나리오에 더 효율적이고 비용 효과적일 수 있습니다.