30개 노드로 구성된 Hadoop 클러스터를 클라우드로 마이그레이션해야 합니다. 기존 Hadoop 작업을 재사용하고, 클러스터 관리를 최소화하며, 클러스터 수명 이후에도 데이터를 유지해야 합니다. 어떻게 해야 할까요?

정답은 Google Cloud Storage 커넥터를 사용하는 Cloud Dataproc 클러스터를 생성하는 것입니다. Cloud Dataproc은 기존 Hadoop 작업을 클라우드로 쉽게 마이그레이션할 수 있도록 관리형 Hadoop 및 Spark 서비스를 제공합니다. Google Cloud Storage(GCS) 커넥터를 사용하면 HDFS 대신 GCS에 데이터를 저장하여 클러스터 수명 이후에도 데이터를 유지할 수 있으며, 이는 클러스터 관리를 최소화하는 데 도움이 됩니다. Google Cloud Dataflow 작업 생성은 기존 Hadoop 작업을 재사용하는 데 적합하지 않습니다. HDFS에 영구 디스크를 사용하는 Cloud Dataproc 클러스터는 클러스터 수명 이후에도 데이터를 유지하는 요구사항을 충족하지 못합니다. 영구 디스크를 사용하는 Compute Engine에 Hadoop 클러스터를 생성하는 것은 관리 오버헤드가 크고, Local SSD 디스크를 사용하는 Compute Engine은 데이터 영속성 요구사항을 충족하지 못합니다.