データエンジニアがAmazon Managed Workflows for Apache Airflow (Amazon MWAA) でパイプラインを実行しています。最近ワークフローが失敗し、エンジニアは失敗の原因を特定するためにApache Airflowのログを調査する必要があります。失敗の根本原因を見つけるために、エンジニアはどのログタイプを調べるべきですか？

正解はYourEnvironmentName-Taskです。タスクログは、Airflow DAG内の個々のタスクの実行中に生成された出力とエラーメッセージを記録します。ワークフローの失敗の根本原因を特定するには、通常、どのタスクが失敗したか、およびそのタスクが失敗した理由を理解する必要があるため、このログタイプが最も関連性が高くなります。 YourEnvironmentName-WebServerログはAirflow UIの動作に関連し、YourEnvironmentName-SchedulerログはDAGのスケジュールとタスクのキューイングに関連します。YourEnvironmentName-DAGProcessingログはDAGファイルの解析と処理に関する情報を提供しますが、これらはタスクの実行失敗の直接的な原因を特定するのには役立ちません。