여러 클라우드 공급자의 서비스를 사용하는 복잡한 크로스 클라우드 데이터 파이프라인이 있습니다. 전체 파이프라인을 오케스트레이션하려면 어떤 클라우드 네이티브 서비스를 사용해야 할까요?

Cloud Composer는 Apache Airflow를 기반으로 하는 완전 관리형 워크플로 오케스트레이션 서비스입니다. 여러 클라우드 공급자의 서비스를 포함하는 복잡한 크로스 클라우드 데이터 파이프라인의 종속성, 스케줄링 및 모니터링을 정의하고 실행하는 데 이상적입니다. Airflow의 유연성을 통해 다양한 클라우드 환경의 태스크를 Python 코드로 정의할 수 있습니다. Cloud Dataflow는 데이터 변환 및 분석을 위한 관리형 서비스이며 오케스트레이션 도구는 아닙니다. Cloud Dataprep은 시각적 인터페이스를 통해 데이터를 준비하고 정리하는 데 사용됩니다. Cloud Dataproc은 Apache Spark, Hadoop, Flink 등의 클러스터를 실행하는 관리형 서비스로, 특정 데이터 처리 엔진을 제공하지만 파이프라인 오케스트레이션 기능은 제한적입니다.