Sie haben zwei Cloud Composer-Umgebungen (Dev und Prod) und ein Git-Repo für DAG-Code. Sie möchten, dass DAGs automatisch in Composer bereitgestellt werden, wenn ein bestimmter Git-Tag gepusht wird. Welchen Bereitstellungs-Workflow sollten Sie implementieren?

Die korrekte Antwort beschreibt den Standard-Deployment-Workflow für Cloud Composer. DAGs werden in Cloud Composer bereitgestellt, indem die DAG-Dateien in den dafür vorgesehenen Cloud Storage Bucket der Composer-Umgebung kopiert werden. Cloud Build ist das geeignete Tool, um diesen Prozess zu automatisieren, indem es auf Git-Tags reagiert und die Dateien in die entsprechenden Buckets (Dev für Tests, Prod nach erfolgreichen Tests) kopiert. Die anderen Optionen sind falsch, weil sie den KubernetesPodOperator und Google Kubernetes Engine (GKE) als primären Bereitstellungsmechanismus für DAGs vorschlagen. Obwohl Cloud Composer intern GKE nutzt, ist die direkte Bereitstellung von DAGs über GKE-Container oder den KubernetesPodOperator kein Standard- oder empfohlener Workflow für die Verwaltung von DAGs in Composer. DAGs werden als Python-Dateien direkt in den Cloud Storage Bucket geladen, von wo sie vom Airflow Scheduler erkannt und ausgeführt werden.