온프레미스 Hadoop 클러스터와 수백 개의 Airflow ETL 파이프라인을 최소한의 오케스트레이션 변경으로 현대화해야 합니다. 이 요구사항에 적합한 Google Cloud 아키텍처는 무엇입니까?

온프레미스 Hadoop 클러스터와 Airflow ETL 파이프라인을 최소한의 오케스트레이션 변경으로 현대화하려면, 기존 Airflow DAG를 Google Cloud 환경에서 그대로 실행할 수 있는 Cloud Composer를 사용하는 것이 가장 효율적입니다. Dataproc은 Hadoop 및 Spark 워크로드를 클라우드에서 실행하기 위한 관리형 서비스로, 기존 Hadoop 클러스터 마이그레이션에 적합합니다. HDFS는 Cloud Storage로 대체하여 확장성과 내구성을 확보할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Bigtable은 NoSQL 데이터베이스로, HDFS의 일반적인 파일 시스템 사용 사례와는 다릅니다. ETL 파이프라인을 Dataflow로 변환하는 것은 상당한 오케스트레이션 변경을 수반합니다. Cloud Data Fusion으로 ETL 오케스트레이션을 마이그레이션하는 것 또한 기존 Airflow DAG를 재작성해야 하므로 최소한의 변경이라는 요구사항에 부합하지 않습니다.