Sie benötigen eine Apache Beam Pipeline, die Cloud Pub/Sub-Nachrichten mit kleinen statischen Referenzdaten aus BigQuery (passt in den Worker-Speicher) anreichert und die angereicherten Zeilen in BigQuery schreibt. Welchen Jobtyp und welche Transforms sollten Sie verwenden?

Für die Anreicherung von Echtzeitdaten aus Pub/Sub mit statischen Referenzdaten ist ein Streaming-Job erforderlich, da die Daten kontinuierlich verarbeitet werden. PubSubIO ist die korrekte Transform, um Nachrichten aus Cloud Pub/Sub zu lesen. Da die Referenzdaten klein sind und in den Worker-Speicher passen, sind Side-Inputs die effizienteste Methode, um diese Daten einmalig aus BigQuery zu laden und für jede eingehende Nachricht zur Anreicherung zu nutzen. BigQueryIO wird sowohl zum Lesen der Referenzdaten (für Side-Inputs) als auch zum Schreiben der angereicherten Zeilen in BigQuery verwendet. Ein Batch-Job wäre falsch, da er für die Verarbeitung endlicher Datensätze konzipiert ist. JdbcIO ist für relationale Datenbanken gedacht, nicht für BigQuery. Side-outputs sind für die Ausgabe von Datenströmen in verschiedene Senken basierend auf einer Bedingung gedacht, nicht für die Anreicherung.