Вам нужен конвейер Apache Beam, который обогащает сообщения Cloud Pub/Sub небольшими статическими справочными данными из BigQuery (помещается в память worker) и записывает обогащенные строки в BigQuery. Какой тип задания и преобразования следует использовать?

Правильный ответ — "Потоковое задание, PubSubIO, BigQueryIO, side-inputs". Потоковое задание (Streaming job) необходимо, так как данные поступают непрерывно из Cloud Pub/Sub. PubSubIO используется для чтения из Pub/Sub. BigQueryIO используется для записи обогащенных данных в BigQuery. Side-inputs (боковые входы) — это наиболее эффективный способ обогащения потоковых данных небольшими статическими справочными данными, которые могут быть загружены в память worker'ов. Пакетное задание (Batch job) не подходит, так как Pub/Sub — это потоковый источник данных. JdbcIO используется для работы с реляционными базами данных, а не BigQuery. Side-outputs используются для разделения основного потока данных на несколько выходных потоков, а не для обогащения данных.