변동성이 크고 피크 사이즈가 있는 온프레미스 Spark/Hive/HDFS 클러스터를 2개월 이내에 클라우드로 마이그레이션하고, 운영을 줄이며, 향후 서버리스 현대화를 가능하게 해야 합니다. 속도와 비용 절감을 모두 고려하는 마이그레이션 접근 방식은 무엇입니까?

정답은 HDFS 대신 Cloud Storage를 사용하여 워크로드를 Dataproc으로 마이그레이션하고 나중에 현대화하는 것입니다. 이 접근 방식은 온프레미스 Spark/Hive 워크로드를 클라우드로 빠르게 마이그레이션하면서 HDFS의 관리 오버헤드를 제거합니다. Cloud Storage는 비용 효율적이고 확장성이 뛰어나며 서버리스 현대화를 위한 기반을 제공합니다. HDFS를 유지하면서 Dataproc으로 마이그레이션하는 것은 HDFS 관리 부담을 그대로 가져오므로 운영 감소 목표에 부합하지 않습니다. Spark를 HDFS와 함께 Dataproc으로 마이그레이션하고 Hive를 BigQuery로 현대화하는 것은 Hive 마이그레이션에 추가적인 복잡성과 시간이 소요되어 2개월 이내라는 시간 제약에 맞지 않을 수 있습니다. Spark를 Dataflow로, Hive를 BigQuery로 즉시 현대화하는 것은 가장 이상적인 최종 상태일 수 있지만, 단기간 내에 대규모 재작업이 필요하여 속도와 비용 절감 목표에 부합하지 않습니다.