온프레미스 Hadoop을 장기 실행 배치 작업을 위한 관리형의 내결함성 있고 비용 효율적인 클라우드 솔루션으로 마이그레이션해야 합니다. 무엇을 배포해야 할까요?

정답은 장기 실행 배치 작업에 적합한 관리형, 내결함성, 비용 효율적인 솔루션을 제공합니다. Dataproc은 관리형 Hadoop/Spark 서비스로, 온프레미스 Hadoop의 마이그레이션에 이상적입니다. 표준 영구 디스크는 비용 효율적이며, 50% 선점형 워커는 비용을 더욱 절감하면서도 장기 실행 배치 작업의 내결함성을 유지하는 데 도움이 됩니다. Cloud Storage에 데이터를 저장하고 스크립트를 gs://로 업데이트하는 것은 클라우드 네이티브 접근 방식이며, HDFS 대신 유연하고 확장 가능한 스토리지 솔루션을 제공합니다. SSD 영구 디스크 옵션은 더 빠르지만, 장기 실행 배치 작업의 주요 요구사항인 비용 효율성 측면에서 표준 디스크보다 불리합니다. Compute Engine에 직접 Hadoop/Spark를 설치하는 것은 관리형 서비스가 아니므로 운영 오버헤드가 크고, 선점형 Compute Engine 그룹에 HDFS를 사용하는 것은 내결함성과 비용 효율성 측면에서 Dataproc보다 비효율적입니다.