オンプレミスのHadoopを、長時間実行されるバッチジョブ向けの、マネージドでフォールトトレラントかつ費用対効果の高いクラウドソリューションに移行します。何をデプロイすべきですか？

Dataprocは、Hadoop/Sparkワークロード向けのマネージドサービスであり、フォールトトレラントで費用対効果の高いソリューションを提供します。長時間実行されるバッチジョブには、標準永続ディスクで十分なパフォーマンスが得られ、SSDよりもコストを抑えられます。プリエンプティブワーカーを50%使用することで、コストを大幅に削減しつつ、ジョブの完了を保証できます。データはCloud Storageに保存することで、HDFSの代わりに耐久性とスケーラビリティを確保し、スクリプトをgs://に更新することで、Cloud Storage上のデータにアクセスできるようになります。SSD永続ディスクはバッチジョブには過剰な性能で高コストです。Compute EngineにHadoop/Sparkをインストールする方法は、マネージドサービスではないため運用負担が大きく、HDFSにデータを保存すると耐久性やスケーラビリティの面で劣ります。