수천 개의 온프레미스 Apache Spark 작업을 관리형 서비스를 사용하여 Google Cloud로 마이그레이션하고, 코드 변경을 최소화하며, 신속하게 진행해야 합니다. 마이그레이션 접근 방식은 무엇입이까?

수천 개의 온프레미스 Apache Spark 작업을 최소한의 코드 변경으로 Google Cloud로 마이그레이션하는 가장 효율적인 방법은 Dataproc을 사용하는 것입니다. Dataproc은 관리형 Apache Spark 및 Hadoop 서비스로, 기존 Spark 코드를 거의 변경하지 않고도 클라우드에서 실행할 수 있습니다. 데이터를 Cloud Storage로 이동하면 Dataproc 클러스터가 데이터에 쉽게 액세스할 수 있어 확장성과 내구성을 제공합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. 데이터를 BigQuery로 이동하고 Spark 스크립트를 SQL 기반 처리 방식으로 변환하는 것은 상당한 코드 재작업이 필요하며, 이는 "최소한의 코드 변경"이라는 요구 사항에 부합하지 않습니다. 작업을 Apache Beam으로 다시 작성하고 Dataflow에서 실행하는 것 역시 Spark 코드를 완전히 다시 작성해야 하므로 시간과 노력이 많이 듭니다. 데이터를 Compute Engine 디스크에 복사하고 인스턴스에서 직접 작업을 관리하는 것은 관리형 서비스의 이점을 포기하고 온프레미스 환경과 유사한 관리 부담을 초래합니다.