ディスクI/Oを多用するHadoopジョブが、オンプレミスのベアメタルHDFSよりも、中間データにCloud Storageを使用するDataprocで大幅に低速で実行されます。ストレージとコンピューティングを分離したまま、これを修正するにはどうすればよいですか？

ディスクI/Oを多用するHadoopジョブがCloud Storageを中間データに使用すると低速になるのは、Cloud StorageへのネットワークアクセスがHDFSのローカルディスクアクセスよりも遅いためです。永続ディスクをプロビジョニングし、中間データをネイティブHDFSに保持することで、データがコンピューティングノードに物理的に近くなり、ディスクI/Oのパフォーマンスが向上します。これにより、ストレージとコンピューティングの分離を維持しつつ、HDFSのローカルディスク速度を活用できます。 メモリを増やすだけでは、中間データがRAMに収まらない場合や、ディスクへの書き込みが必要な場合には効果が限定的です。CPUコアを増やしても、ストレージI/Oのボトルネックは解消されません。NICの追加やリンクアグリゲーションはCloud Storageへのスループットを向上させる可能性がありますが、ネイティブHDFSのローカルディスクI/O速度には及ばないため、根本的な解決にはなりません。