30ノードのHadoopクラスターをクラウドに移行し、既存のHadoopジョブを再利用し、クラスター管理を最小限に抑え、クラスターのライフサイクルを超えてデータを永続化する必要があります。どうすべきですか？

Google Cloud Storageコネクタを使用するCloud Dataprocクラスターを作成することで、既存のHadoopジョブを再利用しつつ、クラスター管理を最小限に抑え、データの永続化を実現できます。DataprocはHadoop/Sparkクラスターのフルマネージドサービスであり、クラスター管理の負担を軽減します。Cloud Storageは耐久性とスケーラビリティに優れたオブジェクトストレージであり、クラスターのライフサイクルを超えてデータを永続化できます。 Google Cloud Dataflowジョブの作成は、既存のHadoopジョブの再利用という要件を満たしません。HDFSに永続ディスクを使用するDataprocクラスターは、HDFSがクラスターのライフサイクルに依存するため、データの永続化要件を満たしません。Compute Engine上にHadoopクラスターを作成すると、クラスター管理の負担が増大します。Local SSDは一時的なストレージであり、データの永続化には適していません。