두 개의 Cloud Composer 환경(dev 및 prod)과 DAG 코드용 Git 리포지토리가 있습니다. 특정 Git 태그가 푸시될 때 DAG가 Composer에 자동으로 배포되도록 하려고 합니다. 어떤 배포 워크플로를 구현해야 할까요?

정답은 Cloud Composer의 DAG 배포 메커니즘과 일치합니다. Cloud Composer는 Cloud Storage 버킷에서 DAG 파일을 읽어 Airflow 스케줄러에 배포합니다. 따라서 Git 태그가 푸시될 때 Cloud Build를 사용하여 DAG 코드를 개발 환경의 Cloud Storage 버킷에 복사하여 테스트하고, 테스트 통과 시 프로덕션 환경의 버킷에 복사하는 것이 가장 효율적이고 표준적인 워크플로입니다. 다른 옵션들은 KubernetesPodOperator를 사용하여 GKE 클러스터에 배포하는 방식을 제안하는데, 이는 Cloud Composer의 DAG 배포 방식과 직접적으로 일치하지 않습니다. KubernetesPodOperator는 Airflow DAG 내에서 Kubernetes Pod를 실행하는 데 사용될 수 있지만, DAG 자체를 Composer 환경에 배포하는 메커니즘은 아닙니다. Cloud Composer는 관리형 Airflow 서비스이므로, DAG 파일은 지정된 Cloud Storage 버킷에 위치해야 합니다.