Vous avez un cluster Apache Kafka sur site connecté via Dedicated Interconnect. Vous avez besoin d'une ingestion de streaming à haut débit et à faible latence dans BigQuery. Quelle architecture minimise la latence ?

L'architecture qui minimise la latence est d'utiliser Dataflow pour lire directement depuis Kafka et écrire dans BigQuery. Cette approche élimine les étapes intermédiaires, telles que l'acheminement via Pub/Sub ou un hôte proxy, qui introduisent une latence supplémentaire. Dataflow est optimisé pour le traitement de flux à haut débit et peut se connecter directement à Kafka, ce qui en fait la solution la plus efficace pour les exigences de faible latence. Les autres options introduisent des points de latence supplémentaires : Configurer Kafka Connect pour relier Kafka à Pub/Sub ajoute une étape de transfert de données. Déployer un hôte proxy dans le VPC de Google Cloud ajoute une couche d'indirection et de latence réseau. L'utilisation d'un modèle Dataflow ou d'un pipeline Dataflow personnalisé après Pub/Sub ne réduit pas la latence déjà introduite par Kafka Connect et Pub/Sub.