Вам необходимо отслеживать конвейеры BigQuery, Dataflow и Dataproc в нескольких проектах и уведомлять команду конвейера о сбоях, используя управляемые функции GCP. Что вы должны сделать?

Правильный ответ — «Экспортировать метрики/логи конвейера в Cloud Monitoring и создать политику оповещения». Cloud Monitoring — это управляемый сервис GCP, предназначенный для сбора метрик и логов из различных сервисов, включая BigQuery, Dataflow и Dataproc. Он позволяет создавать политики оповещения, которые автоматически уведомляют команды о сбоях на основе заданных пороговых значений или шаблонов логов. Вариант с Airflow на Compute Engine менее оптимален, так как Airflow в основном используется для оркестрации, а не для мониторинга, и требует дополнительного управления инфраструктурой. Экспорт логов в BigQuery с последующим использованием App Engine для чтения и отправки уведомлений является более сложным и менее эффективным решением по сравнению с нативными возможностями Cloud Monitoring. Разработка приложения App Engine для опроса логов через API также требует больше усилий и не использует преимущества интегрированных решений мониторинга GCP.