많은 상호 의존적인 단계(셸 스크립트, Hadoop 작업, BigQuery 쿼리), 긴 런타임, 고정된 재시도 횟수를 가진 예약된 배치 작업을 구현해야 합니다. 이러한 워크플로우를 오케스트레이션하고 관리하려면 어떤 서비스를 사용해야 할까요?

Cloud Composer는 Apache Airflow를 기반으로 하는 완전 관리형 워크플로우 오케스트레이션 서비스입니다. 복잡한 종속성, 긴 런타임, 재시도 로직을 가진 다단계 배치 작업을 정의, 예약 및 모니터링하는 데 이상적입니다. 셸 스크립트, Hadoop 작업, BigQuery 쿼리 등 다양한 작업을 통합하여 DAG(Directed Acyclic Graph)로 워크플로우를 구성할 수 있습니다. Cloud Scheduler는 간단한 예약에 적합하지만 복잡한 워크플로우 오케스트레이션 기능은 없습니다. Cloud Dataflow는 데이터 처리 파이프라인을 위한 서비스이지, 워크플로우 오케스트레이션 도구가 아닙니다. Cloud Functions는 단일 함수를 실행하는 서버리스 컴퓨팅 서비스로, 여러 단계와 종속성을 가진 배치 작업에는 적합하지 않습니다.