데이터 엔지니어가 Amazon Managed Workflows for Apache Airflow(Amazon MWAA)에서 파이프라인을 실행합니다. 최근 워크플로가 실패하여 엔지니어는 실패 원인을 파악하기 위해 Apache Airflow 로그를 검사해야 합니다. 실패의 근본 원인을 찾기 위해 엔지니어가 검사해야 하는 로그 유형은 무엇입니까?

정답은 YourEnvironmentName-Task입니다. 태스크 로그는 DAG 내 개별 태스크의 실행에 대한 상세 정보를 포함하며, 태스크 실패의 근본 원인을 파악하는 데 가장 직접적인 정보를 제공합니다. YourEnvironmentName-WebServer 로그는 Airflow UI(웹 서버) 관련 이벤트를 기록하므로 태스크 실패 원인과는 직접적인 관련이 없습니다. YourEnvironmentName-Scheduler 로그는 DAG를 스케줄링하고 태스크를 큐에 넣는 스케줄러 프로세스의 활동을 기록하지만, 개별 태스크 실행의 상세 실패 원인을 직접적으로 보여주지는 않습니다. YourEnvironmentName-DAGProcessing 로그는 DAG 파일을 구문 분석하고 로드하는 과정의 오류를 기록하며, 이는 DAG 자체의 구문 오류와 관련이 있을 수 있지만, 이미 실행 중인 태스크의 실패 원인과는 다릅니다.