온프레미스 Hadoop 클러스터를 Dataproc으로 마이그레이션하려면 노드당 50TB의 Persistent Disk가 필요하며, CIO는 블록 스토리지 비용에 대해 우려하고 있습니다. 마이그레이션 시 스토리지 비용을 최소화하려면 어떻게 해야 할까요?

정답은 데이터를 Google Cloud Storage에 저장하는 것입니다. Dataproc은 HDFS 대신 Cloud Storage를 기본 스토리지로 사용할 수 있습니다. Cloud Storage는 Persistent Disk보다 훨씬 저렴하며, 대규모 데이터 세트에 대한 비용 효율적인 솔루션을 제공합니다. 또한, Cloud Storage는 Dataproc 클러스터와 분리되어 있어 클러스터 크기나 수명에 관계없이 데이터를 유지할 수 있습니다. 선점형 VM을 사용하는 것은 컴퓨팅 비용을 줄이지만 스토리지 비용과는 직접적인 관련이 없습니다. 클러스터 디스크 공간을 튜닝하는 것은 일시적인 절약이 될 수 있지만, 50TB와 같은 대규모 데이터에는 여전히 Persistent Disk 비용이 많이 듭니다. 핫 데이터만 Persistent Disk에 유지하고 콜드 데이터를 Cloud Storage로 옮기는 것은 부분적인 해결책이지만, 모든 데이터를 Cloud Storage에 저장하는 것이 스토리지 비용을 가장 효과적으로 최소화하는 방법입니다.