一个磁盘 I/O 密集型 Hadoop 作业在 Dataproc 上使用 Cloud Storage 作为中间存储时，运行速度比在本地裸机 HDFS 上慢得多。如何在分离存储和计算的同时解决这个问题？

磁盘 I/O 密集型作业在 Dataproc 上使用 Cloud Storage 作为中间存储时变慢，是因为 Cloud Storage 相比本地 HDFS 具有更高的延迟和更低的吞吐量，这会成为 I/O 瓶颈。将中间数据保存在原生 HDFS 上，可以利用本地磁盘的低延迟和高吞吐量，从而显著提高作业性能。为集群提供更多内存虽然可以缓存部分数据，但对于大型中间数据集效果有限。增加 VM CPU 核数主要影响计算能力，对 I/O 瓶颈帮助不大。添加额外的 NIC 和链路聚合主要提升网络带宽，对 Cloud Storage 的访问延迟改善有限，且原生 HDFS 的本地 I/O 性能远超网络传输。