Un ingegnere dei dati esegue pipeline su Amazon Managed Workflows for Apache Airflow (Amazon MWAA). Recentemente un workflow è fallito e l'ingegnere deve ispezionare i log di Apache Airflow per determinarne la causa. Quale tipo di log dovrebbe esaminare l'ingegnere per trovare la causa principale del fallimento?

L'opzione corretta è YourEnvironmentName-Task. Questo perché i log delle attività (Task logs) contengono l'output specifico e gli errori generati dall'esecuzione dei singoli task all'interno di un DAG. Quando un workflow fallisce, la causa principale è quasi sempre legata a un problema in uno o più task, e i loro log forniscono i dettagli necessari per il debugging. Le altre opzioni sono meno appropriate per identificare la causa di un fallimento di un workflow: YourEnvironmentName-WebServer: Questi log riguardano l'interfaccia utente di Airflow e le interazioni con essa, non l'esecuzione dei task. YourEnvironmentName-Scheduler: Questi log sono relativi al funzionamento dello scheduler di Airflow, inclusa la programmazione dei DAG e la gestione delle risorse, ma non contengono i dettagli specifici dell'esecuzione dei task che falliscono. YourEnvironmentName-DAGProcessing: Questi log sono utili per diagnosticare problemi nella lettura e nel parsing dei file DAG, ma non per errori che si verificano durante l'esecuzione effettiva dei task definiti nel DAG.