Überwachen Sie BigQuery-, Dataflow- und Dataproc-Pipelines über mehrere Projekte hinweg und benachrichtigen Sie das Pipeline-Team bei Fehlern mithilfe verwalteter GCP-Funktionen. Was sollten Sie tun?

Die korrekte Option ist, Pipeline-Metriken/-Logs nach Cloud Monitoring zu exportieren und eine Benachrichtigungsrichtlinie zu erstellen. Cloud Monitoring ist der zentrale Dienst von GCP für die Erfassung, Überwachung und Analyse von Metriken und Logs aus verschiedenen GCP-Diensten. Es bietet integrierte Funktionen zur Erstellung von Benachrichtigungsrichtlinien, die automatisch das Pipeline-Team bei Fehlern informieren können. Dies ist die effizienteste und verwaltete Lösung. Die Ausführung einer Compute Engine VM mit Airflow ist für die Orchestrierung, nicht für die Überwachung und Benachrichtigung vorgesehen. Das Exportieren von Logs nach BigQuery ist zwar möglich, aber BigQuery ist ein Data Warehouse und nicht primär für Echtzeit-Benachrichtigungen konzipiert. App Engine für das Lesen von Logs und das Senden von E-Mails würde eine benutzerdefinierte Entwicklung erfordern, was im Vergleich zu Cloud Monitoring weniger verwaltet und aufwendiger ist.