一個 Dataproc Spark 作業有許多 shuffle，它讀取大約 200–400 MB 的 Parquet 檔案，並在只有兩個非搶佔式節點的搶佔式工作者上執行。為了經濟高效地提升效能，您應該進行哪些更改？

此 Spark 作業有大量 shuffle，且在搶佔式工作者上執行，這表示 I/O 效能和磁碟空間是潛在瓶頸。將 HDD 轉換為 SSD 能顯著提升 I/O 速度，加速 shuffle 操作。增加啟動磁碟大小則能為 shuffle 數據提供更多緩存空間，減少因磁碟空間不足導致的溢寫（spill）到遠端儲存，進一步提升效能。 增加 Parquet 檔案大小可能改善讀取效率，但對 shuffle 密集型作業的影響有限。改用 TFRecords 格式並非主要效能瓶頸，且轉換成本高。將數據複製到 HDFS 再執行作業會增加複雜性和延遲，且若不升級磁碟類型，效能提升有限。