Потоковое задание Dataflow считывает данные из Pub/Sub, DoFn применяет бизнес-логику и записывает данные в BigQuery. Если DoFn завершается с ошибкой для сообщения, вы хотите, чтобы это сообщение было отправлено в тему Pub/Sub, которую вы отслеживаете для оповещений. Что вы должны сделать?

Правильный ответ — использование блока обработки исключений в DoFn Dataflow для перенаправления ошибочных сообщений через побочный вывод в новую тему Pub/Sub. Это позволяет изолировать и отслеживать сообщения, которые не удалось обработать, не прерывая основной поток данных. Метрика topic/numunackedmessagesbyregion для этой новой темы поможет отслеживать количество таких сообщений. Остальные варианты не подходят, потому что: Сохранение подтвержденных сообщений (retained acknowledged messages) не предназначено для обработки ошибок и не предоставляет механизма для их изоляции. Dead lettering в подписке Pub/Sub перехватывает сообщения, которые не были подтверждены после нескольких попыток, но не позволяет перехватывать ошибки, возникающие внутри бизнес-логики Dataflow DoFn. Снимок подписки предназначен для повторной обработки данных с определенного момента времени, а не для обработки ошибок в реальном времени.