Een data engineer draait pipelines op Amazon Managed Workflows for Apache Airflow (Amazon MWAA). Een workflow is recentelijk mislukt en de engineer moet de Apache Airflow logs inspecteren om de oorzaak van de storing te achterhalen. Welk logtype moet de engineer onderzoeken om de hoofdoorzaak van de storing te vinden?

De YourEnvironmentName-Task logs bevatten gedetailleerde uitvoerinformatie van individuele taken binnen een DAG. Wanneer een workflow mislukt, is de meest directe oorzaak vaak te vinden in de uitvoering van een specifieke taak. Door deze logs te inspecteren, kan de engineer foutmeldingen, stack traces of andere diagnostische informatie vinden die de storing heeft veroorzaakt. YourEnvironmentName-WebServer logs zijn voor de Airflow UI en tonen geen taakuitvoerfouten. YourEnvironmentName-Scheduler logs zijn voor de scheduler-component en tonen problemen met het plannen of starten van taken, niet de taakuitvoering zelf. YourEnvironmentName-DAGProcessing logs zijn voor het parsen van DAG-bestanden en tonen geen runtime-fouten van taken.