Monitore pipelines do BigQuery, Dataflow e Dataproc em vários projetos e notifique a equipe de pipeline sobre falhas usando recursos gerenciados do GCP. O que você deve fazer?

A opção correta é exportar métricas/logs para o Cloud Monitoring e criar uma política de alerta porque o Cloud Monitoring é a solução nativa do GCP para coleta, monitoramento e alerta de métricas e logs de diversos serviços, incluindo BigQuery, Dataflow e Dataproc. Ele oferece integração profunda, permitindo a criação de alertas baseados em condições específicas de falha, que podem notificar equipes por e-mail, SMS, ou outros canais. Executar uma VM do Compute Engine com Airflow e exportar dados de monitoramento para o Cloud Monitoring adiciona complexidade desnecessária, pois o Cloud Monitoring já se integra diretamente com os serviços mencionados. Exportar logs para o BigQuery e usar o App Engine para lê-los e enviar e-mails, ou desenvolver um aplicativo App Engine para consultar logs via APIs, são soluções mais complexas e menos eficientes do que a funcionalidade integrada de alerta do Cloud Monitoring.