多数のシャッフルを伴うDataproc Sparkジョブが、それぞれ約200～400MBのParquetファイルを読み込み、2つの非プリエンプティブノードのみを持つプリエンプティブワーカーで実行されています。費用対効果の高い方法でパフォーマンスを向上させるには、どのような変更を行うべきですか？

シャッフルを伴うSparkジョブでは、中間データがディスクに書き込まれるため、I/O性能が重要です。HDDからSSDへの切り替えは、I/Oスループットとレイテンシを大幅に改善し、シャッフル性能を向上させます。また、ブートディスクサイズを増やすことで、シャッフル中にディスク容量不足になるリスクを軽減できます。 Parquetファイルのサイズを増やすことは、ファイル数が多い場合のオーバーヘッドを減らす効果はありますが、シャッフル自体のI/O性能のボトルネックを直接解決しません。TFRecordsへの切り替えは、Parquetと比較して特定のユースケースで利点がありますが、シャッフル性能の根本的な改善には繋がりません。GCSからHDFSへのデータコピーは、追加の複雑さとコストを招き、GCSのI/O性能は通常、Sparkのシャッフル要件を満たすのに十分です。