BigQuery의 작고 정적인 참조 데이터(워커 메모리에 적합)로 Cloud Pub/Sub 메시지를 보강하고 보강된 행을 BigQuery에 쓰는 Apache Beam 파이프라인이 필요합니다. 어떤 작업 유형과 변환을 사용해야 합니까?

정적 참조 데이터로 Cloud Pub/Sub 메시지를 보강하고 BigQuery에 쓰는 파이프라인은 지속적으로 데이터를 처리해야 하므로 스트리밍 작업이 적합합니다. Pub/Sub에서 데이터를 읽기 위해서는 PubSubIO가 필요하며, 보강된 데이터를 BigQuery에 쓰기 위해서는 BigQueryIO가 필요합니다. 작고 정적인 참조 데이터는 사이드 입력(side-inputs)을 사용하여 효율적으로 보강할 수 있습니다. 사이드 출력(side-outputs)은 주 파이프라인과 다른 별도의 출력을 생성할 때 사용되므로 이 시나리오에는 적합하지 않습니다. JdbcIO는 관계형 데이터베이스에서 데이터를 읽거나 쓸 때 사용되므로 BigQuery에 쓰는 경우에는 BigQueryIO가 올바른 선택입니다.