オンプレミスのデータセンターからSparkおよびHadoopジョブが大幅に増加すると予想されており、最小限の運用作業とコード変更でクラウドスケーリングを実現したいと考えています。どのプロダクトを使用すべきですか？

Google Cloud Dataprocは、Apache SparkおよびHadoopクラスターをクラウドで実行するための、高速で使いやすく、費用対効果の高いフルマネージドサービスです。オンプレミスのSpark/Hadoopジョブを最小限のコード変更でクラウドに移行し、運用作業を削減しながらスケーリングを実現するのに最適です。 Google Cloud Dataflowは、ストリームおよびバッチデータ処理のための統合サービスですが、Spark/Hadoopジョブの直接的な移行には適していません。Google Compute Engineは、仮想マシンを提供しますが、Spark/Hadoopクラスターの管理はユーザーが行う必要があり、運用作業が増加します。Google Kubernetes Engineはコンテナオーケストレーションサービスであり、Spark/Hadoopワークロードを実行できますが、Dataprocほどマネージドではなく、より多くの設定と管理が必要です。