디스크 I/O 집약적인 Hadoop 작업이 온프레미스 베어메탈 HDFS에서보다 Cloud Storage를 중간 저장소로 사용하는 Dataproc에서 훨씬 느리게 실행됩니다. 스토리지와 컴퓨팅을 분리하면서 이 문제를 어떻게 해결하시겠습니까?

디스크 I/O 집약적인 Hadoop 작업은 중간 데이터를 자주 읽고 쓰기 때문에 Cloud Storage와 같은 원격 저장소를 사용하면 네트워크 지연으로 인해 성능이 저하됩니다. Cloud Storage는 확장성이 뛰어나지만, 로컬 디스크에 비해 지연 시간이 길고 처리량이 낮을 수 있습니다. 따라서 중간 데이터를 로컬 HDFS에 저장하면 네트워크 왕복 횟수를 줄여 I/O 성능을 크게 향상시킬 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. RAM 증가는 중간 데이터가 RAM에 완전히 들어갈 수 없는 경우 한계가 있습니다. VM CPU 코어 증가는 네트워크 대역폭을 직접적으로 늘리지 않으며, I/O 병목 현상 해결에 효과적이지 않습니다. 추가 NIC와 링크 애그리게이션은 Cloud Storage로의 처리량을 약간 개선할 수 있지만, 근본적인 네트워크 지연 문제를 해결하지 못합니다.