Monitor BigQuery-, Dataflow- en Dataproc-pipelines over meerdere projecten en breng het pipelineteam op de hoogte van storingen met behulp van beheerde GCP-functies. Wat moet u doen?

De meest efficiënte en beheerde oplossing is het exporteren van pipeline metrics en logs naar Cloud Monitoring en het aanmaken van een alerting policy. Cloud Monitoring is een native GCP-service die speciaal is ontworpen voor het verzamelen, visualiseren en waarschuwen van operationele gegevens van GCP-services zoals BigQuery, Dataflow en Dataproc. Een alerting policy kan worden geconfigureerd om het pipelineteam automatisch op de hoogte te stellen via verschillende kanalen (e-mail, SMS, PagerDuty, etc.) wanneer drempelwaarden worden overschreden of afwijkingen worden gedetecteerd. Het uitvoeren van een Compute Engine VM met Airflow en het exporteren van monitoringgegevens naar Cloud Monitoring is onnodig complex voor alleen monitoring en alerting. Airflow is primair een orchestratietool, niet een monitoringtool. Logs exporteren naar BigQuery en App Engine gebruiken is ook omslachtiger; BigQuery is een datawarehouse en App Engine is een platform voor het bouwen van applicaties, niet de primaire tool voor real-time monitoring en alerting. Het ontwikkelen van een App Engine-app die logs via GCP API's opvraagt, vereist aangepaste ontwikkeling en onderhoud, wat minder efficiënt is dan het gebruik van de ingebouwde functionaliteit van Cloud Monitoring.