Supervise las canalizaciones de BigQuery, Dataflow y Dataproc en varios proyectos y notifique al equipo de canalizaciones sobre los fallos utilizando las características administradas de GCP. ¿Qué debería hacer?

La opción correcta es exportar las métricas/registros a Cloud Monitoring y crear una política de alertas. Cloud Monitoring es el servicio nativo de GCP para la recopilación, visualización y alerta de métricas y registros. Permite monitorear el rendimiento y la disponibilidad de aplicaciones y servicios, incluyendo BigQuery, Dataflow y Dataproc, y configurar alertas automáticas para notificar al equipo sobre fallos. Las otras opciones son menos eficientes o no utilizan las características administradas de GCP de la manera más óptima. Ejecutar Airflow en una VM de Compute Engine añade complejidad y gestión manual. Exportar registros a BigQuery para luego usar App Engine para leerlos y enviar correos electrónicos es un proceso más elaborado y costoso que el monitoreo directo. Desarrollar una aplicación de App Engine para sondear logs también es una solución personalizada que duplica la funcionalidad ya presente en Cloud Monitoring.