Vous devez surveiller les pipelines BigQuery, Dataflow et Dataproc sur plusieurs projets et notifier l'équipe responsable des pipelines en cas d'échec à l'aide des fonctionnalités GCP gérées. Que devez-vous faire ?

L'exportation des métriques et des journaux vers Cloud Monitoring et la création d'une règle d'alerte est la solution la plus simple et la plus gérée. Cloud Monitoring est conçu pour collecter, visualiser et alerter sur les données opérationnelles des services GCP. Les alertes peuvent être configurées pour notifier les équipes via divers canaux en cas d'échec de pipeline. Les autres options sont moins efficaces ou plus complexes : Exécuter une VM Compute Engine avec Airflow ajoute une charge de gestion inutile pour la surveillance et la notification, car Cloud Monitoring offre déjà cette fonctionnalité de manière native. Exporter les journaux vers BigQuery et utiliser App Engine pour les lire et envoyer des e-mails est une solution sur-mesure qui nécessite plus de développement et de maintenance qu'une alerte Cloud Monitoring. Développer une application App Engine qui interroge les journaux via les API GCP et envoie des e-mails en cas d'échec est également une solution personnalisée et complexe, qui réinvente les capacités d'alerte de Cloud Monitoring.