Vous avez besoin d'un pipeline Apache Beam qui enrichit les messages Cloud Pub/Sub avec de petites données de référence statiques provenant de BigQuery (qui tiennent dans la mémoire du worker) et écrit les lignes enrichies dans BigQuery. Quels type de job et transformations devriez-vous utiliser ?

Un job de streaming est nécessaire car les messages Cloud Pub/Sub sont un flux de données continu. PubSubIO est la transformation appropriée pour lire depuis Cloud Pub/Sub. BigQueryIO est utilisé pour écrire les lignes enrichies dans BigQuery. Les side-inputs sont la méthode recommandée pour enrichir un flux de données avec de petites données de référence statiques qui tiennent en mémoire, car elles permettent de joindre efficacement ces données à chaque élément du flux sans recharger les données pour chaque élément. Les side-outputs ne sont pas pertinentes ici car elles servent à diriger des éléments vers différentes sorties en fonction de certaines conditions, pas à enrichir des données. JdbcIO est utilisé pour interagir avec des bases de données relationnelles via JDBC, ce qui n'est pas le cas ici avec BigQuery. Un job batch ne convient pas pour un flux de données continu.