週次の Dataproc Spark ジョブが、15 ノードのクラスターで約 30 分間実行され、結果を BigQuery に書き込みます。このプロファイルに基づいて、クラスターのコストを最適化するにはどうすればよいですか？

Dataprocクラスターにプリエンプティブ仮想マシンを使用すると、コストを大幅に削減できます。週次ジョブのように中断されても問題ないワークロードの場合、プリエンプティブVMは通常のVMよりも安価なため、費用対効果が高い選択肢です。 ワークロードをCloud Dataflowに移行することは、コスト最適化の選択肢ではありますが、Dataprocのコスト最適化という質問の意図から外れます。また、Dataflowへの移行にはコードの書き換えが必要になる場合があります。 ジョブがより速く完了するように、よりメモリの多いノードを使用すると、実行時間は短縮される可能性がありますが、ノードあたりのコストは増加するため、必ずしも総コストの最適化にはつながりません。 ジョブがより速く実行されるように、ワーカーノードにSSDをアタッチすると、I/O性能は向上しますが、SSDはHDDよりも高価であり、コストが増加する可能性があります。このジョブがI/Oバウンドであるという情報もないため、効果も不確かです。